英语原文共 13 页，剩余内容已隐藏，支付完成后下载完整资料
深度学习如何提取和学习叶子特征以进行植物分类
摘要：
计算机视觉研究人员开发的植物识别系统帮助植物学家更快地识别和识别未知植物。迄今为止，许多研究都集中在最大程度地利用叶片数据库进行植物预测建模的过程或算法上，但这导致叶片特征易于随不同叶片数据和特征提取技术而改变。在本文中，我们使用卷积神经网络直接从输入数据的原始表示中学习有用的叶子特征（CNN），并基于反卷积网络（DN）方法获得所选功能的直觉。我们报告了一些出乎意料的结果：（1）与轮廓形状相比，不同阶的通气是最佳的代表特征；（2）我们在叶片数据中观察到多级表示，表明了特征从低级到高等级的分层转换更高级别的抽象，对应于物种类别。我们表明，这些发现符合叶子字符的层次植物学定义。通过这些发现，我们获得了对新的混合特征提取模型设计的见解，这些模型能够进一步提高植物分类系统的判别能力。源代码和模型可在以下位置获得：https://github.com/cs-chan/Deep-Plant。
- 引言
计算植物学包括应用创新的计算方法来帮助解决一个古老的问题，即确定地球上大约40万种植物[1] 。这种跨学科的方法将植物数据和物种概念与用于对植物或其部分进行分类的计算解决方案相结合，并专注于新颖识别方法的设计。这些是使用植物数据建模的，但是可以扩展到其他大型存储库和应用程序域。在人类努力的许多领域，包括植物学，保护，环境影响，天然产物和药物发现以及其他应用领域，植物物种识别是非常重要的主题[2]，[3]。
现在，科学技术的进步使计算机视觉方法可以协助植物学家完成植物鉴定任务。在文献中已经提出了许多方法来自动分析植物器官，例如叶子和花朵[4]，[5]，[6]。在植物学中，叶子几乎总是被用来为植物分类提供重要的诊断特征，在某些群体中则完全如此。自植物科学发展初期以来，就已经通过传统的基于文本的分类键（使用叶字符）来进行植物识别。因此，计算机视觉研究人员已使用树叶作为比较工具来对植物进行分类[7]，[8]，[9]，[10]。形状[11]，[12]，[13]，纹理[14]，[15]，[16]和脉络[17]，[18]等字符是最常用于区分不同物种的叶子的特征。但是，植物识别方法的历史表明，现有的植物识别解决方案高度依赖于专家对领域知识进行编码的能力。对于植物学家预先定义的许多形态特征，研究人员使用手工工程方法进行表征。他们寻找可以充分利用数据进行预测建模的过程或算法。然后，基于它们的性能，他们证明对描述叶子数据最重要的特征子集是合理的。但是，这些特征易于随不同的叶子数据或特征提取技术而改变。因此，这种观察提出了一些问题：（1）通常，代表物种识别的叶片样本的最佳特征子集是什么？（2）我们可以量化表示叶子数据所需的特征吗？我们想回答这些问题，以便解决最能代表叶子数据的要素子集的歧义。
在本研究中，我们建议将深度学习（DL）用于叶特征的逆向工程。我们首先采用一种DL技术- 卷积神经网络（CNN），以学习叶子图像的鲁棒表示。然后，我们通过特征可视化技术更深入地探索，分析和理解最重要的特征子集。我们表明，我们的发现传达了关于在叶片数据建模中特别有用和重要的特征的程度和多样性的重要信息。
在本文中，我们提出了几个主要的贡献：
1．我们定义了一种量化表示叶子数据所需特征的方法（第4节）。我们首先基于原始叶子数据训练CNN，然后使用解卷积网络（DN）方法来发现CNN如何表征叶子数据。
2．我们通过实验表明，形状不是叶片代表的主要特征，而是不同阶的通气（4.3节）。
3．我们量化了每个CNN图层中的特征的特征，发现该网络展现了从常规叶特征到特定类型叶特征的逐层过渡。我们发现，这种效果模仿了植物学家用于植物物种分类的字符定义（第5节）。
4．我们表明，在整片叶子和整块叶上训练的CNN展现出不同的叶子特征上下文信息。我们将它们分为描述整个叶片结构的全局特征和着重于脉管的局部特征（第4.3和5 节）。
5．我们为叶数据提出了新的混合全球局部特征提取模型，该模型将来自两个CNN的信息集成在一起，这些信息使用从相同物种中提取的不同数据格式进行了训练（第6节）。
6．我们证明了我们提出的混合全局局部特征提取模型可以进一步提高植物分类系统的判别能力（第6.2.1节）。
我们的文章首先介绍深度学习。接下来，我们将对现有方法进行批判性和全面的回顾，并描述植物鉴定的背景-即植物学家如何使用形态学对物种进行界定。然后，我们介绍了用于自动处理和分类的深度学习的思想，以便学习和发现叶数据的有用功能。我们描述了如何使用视觉注意力来适应和学习计算方法。将描述自然对象种类（包括物种）中普遍存在的变异性，首先说明它如何混淆分类任务，而且还可以利用深度学习如何利用它来提供更好的解决方案。
2．深度学习
深度学习是机器学习技术中的一类技术，由多个处理层组成，这些处理层允许对多层数据抽象进行表示学习。DL的要旨是它能够从输入数据的原始表示中创建和推断新功能，而不必明确告知要使用哪些功能以及如何提取这些功能。
在植物识别领域，许多研究都集中在最大程度利用叶数据库的程序或算法上，这始终导致一个规范，即叶特征易于随不同的叶数据和特征提取技术而改变。迄今为止，我们一直在围绕最能代表叶子数据的特征子集进行歧义处理。因此，在本研究中，我们没有像以前的方法那样去研究特征表示的创建，而是通过要求DL解释和得出最能代表叶子数据的特定特征来对工程进行逆向工程。通过这些解释结果，我们能够感知到叶片视觉的认知复杂性。
3．相关研究
在本节中，我们描述了已提出的各种特征提取方法，这些方法可根据不同的叶特征对物种进行分类。
叶形。大多数研究使用形状识别技术来建模和表示叶子的轮廓形状。在最早的一篇论文中，Neto等人。[11] 介绍了椭圆傅里叶和判别分析，以根据其叶片形状区分不同的植物。接下来，提出了两种基于不变矩和质心半径模型的形状建模方法[19]。杜等。[20]提出结合几何矩和不变矩特征来提取叶片的形态结构。形状上下文（SC）和定向梯度直方图（HOG）也已用于尝试创建叶形描述符[12]，[13]。最近，阿基夫和汗[21] 提出使用不同的基于形状的特征，例如形态特征，傅立叶描述子和新设计的形状定义特征（SDF）。尽管该算法在基准数据集（例如Flavia [5]）中显示了其有效性，但SDF高度依赖于叶片图像的分割结果。霍尔等。[8]提出使用手工制作的形状（HCS）和比例尺的曲率直方图（HoCS）[7]来分析叶子。赵等。[22]提出了一种新的基于计数的形状描述符，即独立IDSC（I-IDSC）特征，以识别简单叶片和复合叶片。除了研究叶子的整体形状轮廓外，还进行了一些研究[9]，[23]分析叶缘以进行物种分类。也有一些研究人员将植物识别技术整合到移动计算技术中，例如Leafsnap [7]和Apleafis [24]。
质地。质地是植物鉴定的另一个主要研究领域。它用于基于区域上的像素分布来描述叶的表面。最早的一项研究[25] 将多尺度分形维数应用于植物分类。接下来，Cope等。[16] 提出在植物纹理分类中使用Gabor共现。Rashad等。[26] 采用组合分类器 -学习矢量量化（LVQ）和径向基函数（RBF）-基于纹理特征对植物进行分类和识别。奥尔森等。[27]提出使用旋转和尺度不变HOG特征集来表示叶片图像内的纹理区域。Naresh和Nagendraswamy [14] 修改了传统的本地二值模式（LBP）方法，以考虑相邻像素之间的结构关系，从而取代了基本LBP的硬阈值方法。唐等。[15] 介绍了一种新的纹理提取方法，基于灰度共生矩阵（GLCM）和LBP的组合，对茶叶进行分类。
脉络。从植物的脉络结构中识别叶片种类已被植物学家广泛使用。在计算机视觉方面，Charters等人。[17]设计了一个新颖的描述符，称为EAGLE。它包括五个样本斑块，这些样本斑块被安排来捕获和提取静脉局部区域之间的空间关系。他们表明，EAGLE和SURF的组合能够增强特征表示的判别能力。Larese等。[18]基于叶脉的公认豆类品种。他们首先使用“命中或未命中变换”（UHMT）分割静脉图案，然后使用LEAF GUI措施提取静脉和乳晕的一组特征。最新研究[30]尝试使用静脉形态模式在植物识别中进行深度学习。他们首先使用UHMT提取了静脉模式，然后训练了CNN使用中央的叶图像补丁识别它们。另外，大量研究使用特征的组合来表示叶子。例如：尝试将形状和纹理[28]，[29]以及颜色特征[10]结合起来。表1提供了我们的文献综述的摘要。
如表1可见，在几乎62.5％的植物鉴定研究中已经选择并测试了叶形特征，远远超过了其他特征的使用。这是因为它们是区分物种的最简单，最明显的功能，特别是对于对植物性状了解有限的非植物学家。然而，相当多的出版物也使用了纹理特征（大约41.7％），因为某些物种由于其相似的叶片轮廓而很难或不可能仅通过形状相互区分。尽管已证明它们是成功的，但是这些方法的性能高度依赖于一组选定的手工设计功能。换句话说，这些手工制作的特征可能会随不同的叶子数据和特征提取技术而发生变化，这使在物种识别研究中寻找代表叶子样本的有效特征子集的工作变得混乱。在这种背景下，我们为本文提供了一种解决方案突出叶特征的量化。
这项工作的初步版本已在较早的时候提出[31]。目前的工作以重要的方式添加到初始版本中。首先，我们量化每个CNN层中的特征的特征，发现该网络表现出从常规到特定类型的叶特征的逐层过渡。其次，我们为叶数据提出了新的混合全球局部特征提取模型，该模型将来自使用相同物种提取的不同数据格式训练的两个CNN的信息进行整合。我们还将原始实验从使用MalayaKew扩展到基线Flavia Leaf数据集[5]。
4.特色
在本节中，我们解释了我们用来解释叶子特征的最佳子集的方法。我们首先选择一种DL技术，即CNN，以学习叶子图像的鲁棒表示。后来，我们展示了使用DN进入每个CNN层并解释其神经元计算以量化叶子表示的先决条件。图1描绘了我们方法的总体框架。
图1.我们的深度学习框架以自下而上和自上而下的方式展示了对植物识别的研究和理解。最好以电子形式查看。
4.1.卷积神经网络
我们用于选择叶特征子集的CNN模型基于[32]中提出的模型，其结构总结在表2中。我们没有使用新的CNN架构，而是重新使用了预先训练的网络，因为（1）众所周知，可以重新激活大规模对象识别研究中以完全监督的方式训练的CNN激活所提取的特征专门用于新型通用任务 [33]，（2）我们的训练集不如ILSVRC2012数据集那么大-如[34]所示，CNN模型的性能高度依赖于训练集的大小和多样性水平，并且（3）在我们可以使用的众多提议的对象分类网络中，我们选择最轻量和最简单的网络结构进行测试我们的概念。
在卷积层中，将在上一层中计算出的特征图与一组权重（即所谓的过滤器）进行卷积。即，信道的特征图我在层升， 计算为： 其中K是滤波器，i = 1，2，sdot;sdot;sdot;，m （l）。然后，将生成的特征图通过非线性单位，该单位是整流线性单位（RELU）。接下来，在池化层中，对每个特征图进行二次采样，并在q times; q连续区域上进行最大池化，以生成所谓的池化图。在第五层中进行卷积和合并后，然后将输出馈送到完全连接的层中以执行分类。
我们使用Caffe [35]框架训练模型。对于训练中的参数设置，我们采用逐步学习策略。学习率最初设置为 为所有层接受新定义的最后一个完全连接的层，将其设置为 。由于从随机开始训练权重，因此它比其他层更高。然后，每20K迭代将学习率降低10倍，并在100K迭代后停止。根据训练数据的类别数，更改第三完全连接层（fc8）的单位。我们将批量大小设置为50，动量设置为0.9。我们将L2 weight decay with penalty multiplier设置为5 times; 10-4并且将dropout ratio设置为0.5。
4.2 。反卷积网络
CNN模型通过反向传播机制学习并优化每一层中的滤波器。这些学习过的过滤器提取出重要的特征，这些特征可以唯一地代表输入的叶子图像。因此，为了了解CNN模型的运行方式和方式，需要过滤器可视化以观察特征的转换，以及了解CNN模型的内部运行和特征。此外，我们可以识别叶子图像中的独特特征，这些特征对于通过此过程表征植物至关重要。
为了量化叶子图像的先决条件，我们尝试：（1）解释由单个神经元/过滤器计算的功能，2）检查在由多个神经元组成的卷积层中计算的整体功能。第一步是找出每个滤波器的本地响应。它为我们提供了有关叶结构对识别至关重要的部分的直觉。Zeiler和Fergus [36] 引入了多层DN，使我们能够通过将特征图投影回输入像素空间来解释由单个神经元计算的功能。具体来说，图层l 的要素映射交替进行反卷积，并连续向下分解到输入像素空间。也就是说，在l – 1层的通道i的投影特征图 Yi(l-1) 计算为：Yi(l-1) = mj=(1l) (K j,i)T lowast; Yj(l)，其中K是过滤器，而i = 1, 2, · · · , m(l-1).
另一种方法是检查在由多个神经元组成的卷积层中计算的总体功能。
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[234073]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
