英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料
概要
传统的人工神经网络（ANN）通常通过梯度下降算法（例如，反向传播算法）进行缓慢训练，因为需要使用许多训练纪元对ANN的大量超参数进行微调。由于诸如卷积神经网络之类的深度神经网络的大量超参数占用大量内存，因此内存效率低下的深度学习模型对于各种设备上的实时物联网（IoT）应用不是理想的选择手机。因此，有必要为设备上的实时应用开发快速且内存高效的人工智能（AIoT）系统。我们创建了一种新颖的宽浅4层人工神经网络，称为“ Pairwise神经网络”（“ PairNet”），并具有高速非梯度下降超参数优化功能。 PairNet只需一个纪元就可以快速进行训练，因为它的超参数可以通过使用多元最小二乘拟合方法简单地求解线性方程组直接直接优化一次。另外，将n输入空间划分为许多n输入数据子空间，并在本地n输入子空间中构建本地PairNet。这种分而治之的方法可以使用特定的局部特征来训练局部PairNet，以提高模型性能。仿真结果表明，三个具有增量学习功能的PairNets的平均预测均方误差较小，并且实现的速度比传统的ANN高得多。一项重要的未来工作是开发更好，更快的非梯度下降超参数优化算法，以生成有效，快速和内存有效的PairNet，并在实时AIoT设备上应用的最佳子空间上进行增量学习。
介绍
自1943年完成首次人工神经网络研究以来（McCulloch和Pitts 1943），人工神经网络（ANN）研究取得了许多重要突破。通常，ANN的三种主要类型包括基于神经科学的ANN，基于非神经科学的ANN以及基于神经科学和其他科学的混合ANN。有关这三个人工神经网络的简要概述如下。
首先要研究的重要问题是如何基于神经科学和认知科学来开发有效的人工神经网络。
AAAI-2020物联网人工智能研讨会。
赫布增强了麦卡洛克（McCulloch）和皮特（Pitts）定义的人工神经元，并展示了它们在1949年是如何工作的（Hebb 1949）。它指出，每次使用神经通路都会得到加强。如果两条神经同时发动，那么它们之间的联系就会增强。先进的Hebbian-LMS学习算法于2015年开发（Widrow等人，2015年）。
第二个重要的研究问题是如何基于神经科学以外的科学来开发有效的人工神经网络。 1957年，罗森布拉特（Rosenblatt）发明了感知器（Rosenblatt 1958）。不幸的是，简单的单层感知器的模式识别能力有限（Minsky和Papert，1969）。 1959年，Widrow和Hoff开发了称为ADALINE和MADALINE的新模型。 MADALINE（许多ADALINE）是第一个应用于现实世界的神经网络（Widrow and Hoff 1992）。 1960年，Widrow和Hoff开发了最小均方（LMS）算法（Widrow等人，1960年）。 1970年代初期，Werbos开发了基于非神经科学的反向传播算法来训练多层神经网络（Werbos 1974）。反向传播是一种有效而精确的技术，可用于计算目标量的所有导数，例如相对于大量输入量（可能是神经网络中的权重）的模式分类错误。优化权重以最小化损失函数（Werbos 1990）。 Rumelhart，Hinton和Williams在1986年公开并描述了多层神经网络的反向传播方法（Rumelhart等人1986）。近年来，比浅层神经网络具有更多隐藏层的深层神经网络（DNN）在计算机视觉（Larochelle et al.2009; He et al.2016; Szegedy et al.2015），图像处理（Krizhevsky et al。 （2012年），模式识别（Szegedy等人，2017年），生物信息学（Esteva等人，2017年）等。深度学习是机器学习和人工智能的重要研究领域，它允许具有多个处理层的计算模型更准确地学习并根据数据对高级抽象进行建模（LeCun等，2015）。 DeepMind的AlphaGo是一个应用程序，该计算机程序在Go游戏中非常强大（Silver等，2016）。它使用神经网络作为其技术之一，并经过大量培训。深度信念网络是DNN的一种特殊类型，它是概率模型，其层通常由受限的Boltzmann机器制成（Hinton等人，2006年）。特别是DNN，例如卷积神经网络（CNN），通常需要很长时间才能训练好。
第三个重要的研究问题是如何基于神经科学和其他科学来开发有效的混合人工神经网络。例如，一个新的塑性神经网络具有基于生物神经网络和传统人工神经网络特性的混合架构（Miconi et al.2018）。但是，它仍然应用慢速反向传播训练算法来优化塑性神经网络的权重。 ANN和混合ANN具有要优化的超参数，例如神经元之间的权重，不同层的数量，不同层上的神经元的数量以及将加权输入的总和映射到输出的不同的激活函数。一个重要的研究目标是为各种实时机器学习应用开发一种具有高计算速度和高性能（例如低验证错误）的新型ANN。一些问题讨论如下。
首先，反向传播是一种流行的基于梯度下降的训练算法，用于优化权重，但它是一个非常缓慢的优化过程，需要大量的时间进行大量的训练。其他智能训练算法使用各种高级优化方法，例如遗传算法（Loussaief和Abdelkrim 2018）和粒子群优化方法（Sinha等人2018），并尝试找到ANN的最佳超参数。但是，这些常用的训练算法也需要很长的训练时间。
其次，神经网络结构优化算法还需要花费大量时间来找到不同层的最优或接近最优数量以及不同层上的神经元数量。特别是，DNN需要更长的时间。因此，开发用于实时机器学习应用的在不同层上具有相对少量神经元的快速宽浅神经网络是有用的。
传统上，由于需要使用许多训练时期对ANN的大量超参数进行微调，因此它会通过梯度下降算法（例如，反向传播算法）非常缓慢地训练ANN。因此，ANN的超参数优化挑战是如何开发高速非梯度下降训练算法来优化ANN的体系结构。当前的许多DNN（例如CNN）占用大量内存。因此，有必要为实时AIoT应用开发快速且内存高效的机器学习系统。
针对与构建快速且具有内存效率的AIoT系统相关的长期研究问题，我们创建了一种新颖的浅4层ANN，称为成对神经网络（PairNet）（Zhang，2019）。在本文中，我们创建了一种新的高速非梯度下降超参数优化算法，该算法具有增量学习功能，可用于内存不足的PairNet实时AIoT应用。
超参数优化的快速训练算法
对于回归问题，PairNet由四层神经元组成，这些神经元将第一层的n个输入映射到第四层的一个数字输出。
第1层：第1层具有n对神经元，以将n个输入映射到2n个输出。 每对具有两个神经元，其中一个神经元具有增加的激活函数gi（xi）isin;[0,1]，该函数产生正的归一化值，而另一神经元具有减少的激活函数（1- gi（xi）），该函数产生一个归一化的值 i = 1,2，...，n的负归一化值。
第2层：第2层由2n个神经元组成，其中每个神经元都具有激活功能，以将n个输入映射到输出作为互补决策融合。 n个输入中的每个输入都是第1层上每个神经元对的两个神经元之一的输出。令gi表示gi（xi），而gmacr;i表示（1-gi（xi）），其中i = 1,2， ...，n。 第2层神经元的激活功能示例如下：
其中alpha;i是要优化的超参数 0 le;n alpha;i le; 1, i = 1,2,...,n, and
. For a
特殊情况，等重.
第3层：第3层也包含2n个神经元，但将第二层的输出转换为2n个单独的输出决策。 for (ck minus; eta;k) le; yk le; ck, (2)
for ck le; yk le; (ck delta;k), (3)
在k = 1,2,...,2n. ymacr;k, 第3层神经元的样本激活函数定义为
, (4)
where
第4层：第4层通过计算第3层的2n个单个输出决策的加权平均值来计算最终输出决策。f（x1，x1，...，xn）是第4层输出神经元的样本激活函数。 由2nf(x1,x1,...,xn) = Xbeta;kymacr;k, (5)
k=1 where.
可证，我们有：
f(x1,x1,...,xn) =
fmacr;(x1,x1,...,xn) ftilde;(x1,x1,...,xn), (6)
在
2n
fmacr;(x1,x1,...,xn) = Xbeta;kck, (7)
k=1
2n
|
ftilde;(x1,x1,...,xn) = Xbeta;ktheta;kgamma;k, k=1 |
(8) |
在
for k = 1,2,...,2n.
|
我们有 |
|
|
2n f(x1,x1,...,xn) = X(beta;kck beta;ktheta;kgamma;k). |
(9) |
k=1
最后，PairNet f（x1，x1，...，xn）由线性f（x1，x1，...，xn）和非线性f〜（x1，x1，...，xn）组成。 3输入1输出PairNet如图1所示。
Figure 1: A 3-input-1-output PairNet
超参数优化的快速训练算法
我们开发了一种新的快速多元最小二乘算法，可以通过快速求解给定训练数据集的线性方程组，直接为最佳拟合模型找到最佳超参数。对于n个输入，需要求解2n 1个线性方程以获得2n 1个超参数，以最小化均方误差（MSE）。重要的是，根本不需要大量时间的梯度下降训练。由于不适用更多历元，因此使用多元最小二乘拟合方法仅需一个历元即可快速训练PairNet。
数据集具有n个输入xi（i = 1,2，...，n）和一个输出y。它有N个数据。输入xi的mi间隔为[ai，bi]使得mige;1且i = 1,2的[ai，ai1]，[ai1，ai2]，...，[aimi-2，aimi-1]和[aimi，bi] ，...，n。然后有j = 1,2，...，M的三维子空间Sj。 N个数据分布在M个n维子空间中。 n维子空间Sj具有Nj个数据，其中Nj为j = 1,2，...，M，p = 1,2，...，Nj和 。对于每个n维子空间，例如[[a11，a11]，[a21，a22]，...，[an-11，an-12]和[an1，an2]）， PairNet可以映射n个输入xi当i = 1,2，...，n到一个输出fj（x1，...，xn）时，j = 1,2，...，M。因此，将n输入空间划分为许多n输入数据子空间，并在本地n输入子空间中构建本地PairNet。这种分而治之的方法可以使用特定的局部特征来训练局部PairNet，以提高模型性能。
下面给出了PairNet fj（x1，...，xn（j = 1,2，...，M）的目标优化函数
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[237019]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
