基于深度学习技术的数据驱动软测量仪表开发外文翻译资料

 2022-07-28 15:45:04

基于深度学习技术的数据驱动软测量仪表开发

Chao Shang, Fan Yang, Dexian Huang, Wenxiang Lyu

摘要

在工业过程控制中，由于技术或经济限制，一些产品质量和关键变量总是难以测量。 作为一种有效的解决方案，数据驱动的软传感器基于易于测量的过程变量的历史测量值可靠且可靠地在线估计这些变量。 深度学习作为深层神经网络的新型训练策略，早已成为机器学习领域流行的数据驱动方法。 在本研究中，深层学习技术用于构建软传感器，并应用于工业案例，以估计原油蒸馏单元的重柴油95％馏分模拟结果的比较证明，深度学习技术特别适合于软传感器建模，因为相对于传统方法具有以下优点。 首先，具有复杂的多层结构，与传统的数据驱动模型相比，本发明的神经网络能够包含更丰富的信息并产生更好的表示能力。 第二，深层神经网络被建立为潜伏变量模型，有助于描述高度相关的过程变量。 第三，深度学习是半监督的，使得可以利用所有可用的过程数据。 第四，深度学习技术在实践中特别有效地处理大量数据。

关键字：深度神经网络、非线性回归、软测量仪表、数据驱动技术

1绪论

在过去二十年中，软传感器已经在过程工业中广泛研究和实施。通常，它们是基于工业过程中可用的大量数据的预测模型，并且主要负责在质量控制和生产安全方面发挥不可或缺作用的一些变量的在线预测，原因是硬件测量仪器不可用或昂贵。通常，可以将软传感器大致分为两种类型，即第一原理模型（白盒模型）和数据驱动模型（黑盒模型）。第一原理模型依赖于先前的机械知识，因此通常不可用，因为工业过程通常太复杂而不能分析，使得机械知识相当难以获得。或者，他们的数据驱动对手，基于在工业过程中收集的历史数据给出经验模型。由于它们在先验知识上的实用性和独立性，数据驱动的软传感器已经越来越成为流行和有效的方法。在数据驱动的软传感器中采用了各种各样的统计推理技术和机器学习技术，其中代表性实例是将主成分分析（PCA）与回归模型，偏最小二乘（PLS）回归，支持向量机（SVM）和人工神经网络（ANN）结合的主成分回归（PCR）。

对于软传感器存在一个挑战性问题，在实际工业情况下，过程的特征在于强相关的过程变量。通常，所看到的这样的过程变量的数量远大于其有效维度，其被称为数据丰富但信息差。在这种情况下，潜变量模型特别适合于描述具有很少信息丢失的低维子空间，这给出了对过程数据中的主要变化的解释。 PCR和PLS方法是处理过程工业中处理数据相关性的最流行的技术。基于PCA，PCR产生了具有共线性问题的有效工具。它首先找到高维过程变量（X空间）的主成分（PC），然后建立从PC到期望目标变量的回归映射。然而，当建立潜在变量时，PCR无法反映过程变量（X空间）和目标变量（Y空间）之间的关系。相反，PLS技术可以同时对X和Y空间建模，这已经在软传感器建模中得到广泛的应用。然而，纯PCR和纯PLS具有几个共同的缺点：（1）需要大量的数据来推广;和（2）它们具有线性原型并且它们的非线性扩展例如神经网络PLS（NNPLS）和核PLS（KPLS）在选择非线性参数方面存在困难。

近年来，已经有了将机器学习方法应用于软传感器的研究的激增。最常用的是SVM和ANN。作为一个凸二次优化问题，SVM具有低计算成本和可访问的优化的优点。自从提出以来，它已经逐渐成为许多领域的主要方法，例如人工智能，模式识别和机器学习。此外，它证明有效地解决小样品的问题，因此它已广泛用作软传感器。然而，存在一个剩余的问题，即计算复杂度随训练样本的数量呈指数增长。另一方面，ANN在函数近似和模式识别中拥有自己的空间。总的来说，ANN代表了一大类模型结构。最常见的类型是多层感知器（MLP）和径向基函数网络（RBFN）。Qin指出ANN特别适合于开发软传感器，它确实已经被广泛使用。然而，ANN仍然遭受不受控的收敛速度和局部最优。此外，具有深层结构（多于两层）的神经网络的参数难以使用传统的梯度下降来优化。尽管一些成功的应用，SVM和ANN都不提供潜在变量子空间的余量，导致弱的解释能力。

深层神经网络类似于人类大脑的多层结构，也应该属于ANN的范围，但是直到2006年机器学习实践者才提出了深度学习技术，一种新的数据驱动的训练方法的深层神经网络。从那时起，深度学习在机器学习中获得越来越多的关注，并且已经激发了在语音和图像识别和自然语言处理中的大量成功应用，其中深度学习优于诸如PCR，SVM和浅ANN的其他传统数据驱动学习方法，由于其卓越的表现能力。深度学习的详细介绍可以在下面找到：深度网络通过训练前深度信任网络（DBN）训练，本质上使得非线性潜变量模型是可解释的，并且建立回归模型获得的潜变量模型，使其适合处理高度相关的数据。此外，无监督和监督学习被适当地整合，产生半监督模型;这只是传统的不擅长的。然而，到目前为止，在数据驱动的软传感器建模中还没有发现深度学习的应用。为此，本文利用演进的深度学习技术的优势来处理丰富的数据和工业过程的固有变化性质，用于软传感器的开发。

本文的其余部分如下进行。 在第2节中，概述了浅网络的缺点和深度学习的优点以及工业过程的特性，并且进一步展示了深度学习适合软传感器建模的好处。 深度学习技术的基础知识在第3节中详细描述。基于深层神经网络的软传感器的建模过程在第4节中概述。第5节中使用了关于粗油蒸馏装置中重质柴油馏分的估计的工业案例研究，以证明所提出的方法的有效性。 最后一节给出结论。

2深度学习概述及其对软传感器建模的适应性

2.1深层神经网络的显着表示能力和传统模型的局限性

大多数传统模型，如SVM，常规MLP和RBFN，能够近似任意连续非线性映射到任意精度;然而，它们被认为具有浅的架构，即具有少于三个层的计算单元。例如，具有单个隐藏层的MLP由两层神经元组成; SVM可以看作是两层网络，而内核的类型决定第一层中的单元数量以及连接第二层中的配置。最近的研究表明，由于层的深度不足，这些网络缺乏强大的表示效率，并且显示对某些学习任务的限制。当近似在一些区域中剧烈变化的“高度变化的函数”时会产生典型的困难。为了良好地近似这些高度变化的区域，应当向浅架构添加许多单元。同时，需要在高度变化的区域中要足够的训练样本以保证期望的泛化。如果训练样本稀缺，则高度变化的函数不能由具有浅结构的网络适当地表示。然而，最近的分析表明，高度变化的函数可以由深度架构适当地表示，即，具有两层以上的非线性。然而，具有随机初始配置的常见梯度下降优化不再是好的，因为它经常陷入差的局部最优中，因此深层架构一直是训练的热马铃薯。24的一个突出的突破，提出了一种新的半监督训练算法，称为深度学习。

在过程工业中，化学装置通常由各种各样的子系统组成。 同时，生化反应通常在构成的不同构型中高度变化。 显然，复杂的化学过程可以通过深层次结构更好地描述。

2.2深度学习的独特优势：非线性潜在结构

深度学习技术主要包括两个阶段，即无监督预训练阶段和监督反向传播阶段。 在无监督预训练阶段，深信任网络（DBN）被预训练为后续监督阶段的初始权重，在监督反向传播阶段，以监督的方式对整个网络进行微调。

这里给出了DBN的详细介绍，并分析了其独特的优点。将显示DBN将深层神经网络视为潜变量模型，这对软传感器建模是有益的。 DBN采用包括一个可见层和几个潜在层的多层结构。在本研究中，DBN的层数定义为L.通过堆叠一系列受限玻尔兹曼机（RBM）分层构建DBN，如图1所示。 DBN中的每个层被视为单独的RBM。在单个RBMTheta;1（l = 1,2，...，L）中有两个层，即表示输入vi的可见层和表示潜在变量h的隐含层，并且潜在变量用作下一RBM的输入Theta;l 1。引入隐藏单位h，RBM享有潜变量模型类型。 DBN的训练过程涉及从较低层到较高层的贪婪层方案。这里，该过程通过三层RBM的简单示例来说明。在图1中,RBMTheta;1首先被训练，并且将先前RBM的隐藏层作为RBMTheta;2的输入，然后训练RBMTheta;2，接下来可以以相同的连续方式完成RBMTheta;3。在每个RBM的训练进程期间，通过使概率P（vi）最大化来从其输入中单独提取作为特征的潜变量。注意，DBN训练过程是完全无监督的，因为没有涉及目标变量。可以理解，高级潜在变量是在低级潜在变量的基础上学习的，这使得DBN成为期望的潜变量模型，允许强大的解释。

已知在化学过程变量之间存在明显的相关性（固有特征），因此期望潜在模型，例如一些数据驱动方法，PCR，PLS和它们的非线性延伸。 几个最近的结果表明，深层神经网络有助于挖掘比PCA和PLS更复杂的相关性，并具有建立低维非线性潜在结构的能力; 因此可能利用深度学习来捕获过程变量与潜变量模型之间的相关性，使得软传感器模型更易于解释。

在图2中。 软传感器建模中的多速率采样。 通过传统方法（灰点）丢弃的过程数据可用于深层神经网络的无监督训练，并且传统方法使用的训练样本（白点）可用于监督反向传播

2.3半监督策略，以纳入所有可用的过程数据

深度学习的另一个可靠的原因是可以充分利用快速采样的过程数据。在化学过程中，与过程变量相比，感兴趣的质量变量的采样率可能非常慢，如图2所示。因此，质量样本的数量远小于过程样本的数量。然而，对于诸如PLS，SVM和ANN的传统软传感器模型，使用相等数量的过程样本和质量样本。因此，仅考虑少量的过程样本，并且剩余的包含大量信息的丰富的快速过程样本保持未使用。在深度学习中，通过先前方法放弃的这些过程数据可幸运地用于无监督预训练以提取显式潜在变量，促进具有目标质量变量及其对应过程样本的受监督反向传播。因此，使用更多的数据似乎是合理的，可以获得更准确的模型。因此，值得尝试将深度学习技术应用于软传感器建模

3用DBN开发回归模型的两阶段过程

本节详细介绍了使用深层神经网络开发回归模型的两阶段过程。 第一步是预训练，其中DBN仅用无监督的输入数据训练。 第二步是反向传播，其中使用在第一步骤中获得的用于初始化的参数用目标数据训练回归神经网络。 第3.1节介绍了作为DBN的层组件的RBM的基础。 在3.2节中，阐明了每个单独RBM的基于梯度下降的学习算法。 第3.3节介绍了使用目标数据获得回归模型的监督学习。

3.1 RBM的基本知识

首先，我们介绍基本的基于能量的模型，其中每个配置的变量被分配到能量的标量值。 令v表示RBM（可见层）的输入向量，然后通过能量函数分布的概率可以定义为

：

其中Z =Sigma;vexp{-Energy（v）}是归一化因子。 注意，优选较低的能量以最大化概率P（v）。 通过引入隐含层h的向量，RBM框架被公式化为：

不同的基于能量的模型具有不同形式的能量函数。 在RBM中，能量函数被简化为二阶多项式：

其中v和h都是二进制值（0或1）的向量，并且Theta;= {W，b，c}是能量函数的参数。 这种RBM被称为二进制RBM，并且它们在实际应用中是最常用的。 然而，二进制RBM仅具有处理离散输入的能力。 为了处理连续值输入，将二进制RBM扩展到高斯RBM，如下：

其中alpha;i和sigma;i是可见单元i的高斯分布的均值和标准偏差。 这里，输入层v是连续值，隐藏层h是二进制的。 在（4）中，Theta;= {W，b，c}以及alpha;i和sigma;i是在训练过程中要学习的参数。 然而，在实际使用中，输入数据的每个分量通常被归一化为零均值和单位方差，使得高斯RBM被简化为归一化高斯RBM：

在下文中，将讨论归一化的高斯单元，因此将采用（5）而不是（4）。

注意，在引入隐含层h的情况下，RBM是潜变量模型结构。 在[27]中可以看到很多，如软最大RBM和整流线性RBM。 在本研究中，只有二进制单位和高斯A给出了在RBM训练过程中具有独特用途的RBM单元的一些条件概率。 使用RBM的其他类型的RBM。 附录

3.2基于梯度下降的RBM学习算法

对于RBM模型，只有可见层v在手，并且隐层h要被估计。 因此，将RBM的训练目标设置为最大化P（v）是合理的，P（v）是模型简单地在训练输入数据上的概率。 优化通常通过梯度下降现有技术来执行。 通过（2）和总概率公式，单个数据点v处的对数似然函数的梯度计算为：

其中Theta;= {W，b，c}。 定义方程（6）中的两项：正项表示给定可见单位v的的条件期望，负项表示联合分布P（v，h）的的期望 参数Theta;。 注意，易于计算，使得在附录A中给出的P（h | v）可用正值项。然而，对于具有多个单位的RBM，通过采样计算负项是完全难以处理的。 作为一种有效的解决方案，对比度发散（CD）通过抽样方法逼近负项。 CD算法的细节在附录B中给出。

3.3通过反向传播训练具有预训练的DBN的深层神经网络

如第2节中所述，堆叠一系列RBM构建DBN。 请注意，RBM中的隐藏层描述了输入数据背后的基本特征。 高级RBM的隐藏层代表高级特征，因为基于来自低级RBM的隐藏层的低级特征建立高级RBM。 因此，DBN可以被视为潜在变量模型，其中内层表示低级特征，输出等于高级特征。 在软传感建模中，由于过程数据是连续的并且不限于某一范围，所以根据需要选择底部RBM作为高斯单元，并且其余的被选择为二进制单元。图3描述了在本研究中使用的DBN的结构。

然后，在无监督训练阶段之后，从L一1个良好学习的RBM导出DBN的参数{Wl，cl}（I = 1，...，L一1）。 一旦DBN的无监督训练步骤完成，整个神经网络将以受监督的方式用目标值训练。 然后，L层深度神经网络的权重被初始化为如下：除了顶层参数之外的参数{Wl，cl}（I = 1，...，L一1）被设置为与DBN相同， 层权重{Wl，cl}被随机地初始化。 之后，可以通过使用过程数据和相应的质量数据的监督方式通过

全文共13056字，剩余内容已隐藏，支付完成后下载完整资料

英语原文共 11 页，剩余内容已隐藏，支付完成后下载完整资料

资料编号：[143680]，资料为PDF文档或Word文档，PDF文档可免费转换为Word

原文和译文剩余内容已隐藏，您需要先支付 30元 才能查看原文和译文全部内容！立即支付

以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。

您可能感兴趣的文章