Received April 7, 2019, accepted May 3, 2019, date of publication May 7, 2019, date of current version May 20, 2019.
Digital Object Identifier 10.1109/ACCESS.2019.2915169
Automatic Counting and Individual Size and
Mass Estimation of Olive-Fruits Through
Computer Vision Techniques
JUAN M. PONCE, ARTURO AQUINO, BORJA MILLAN,
AND JOSE M.ANDUacute;JAR, (Senior Member, IEEE)
Department of Electronic Engineering, Computer Systems and Automation, University of Huelva, 21819 Huelva, Spain
Corresponding author: Juan M. Ponce (jmponce.real@diesia.uhu.es)
This work and APC were supported in part by the INTERREG Cooperation Program V-A SPAIN-PORTUGAL (POCTEP) 2014–2020, and in part by the ERDF funds under Grant 0155_TECNOLIVO_6_E, within the scope of the TecnOlivo Project.
ABSTRACT Fruit grading is an essential post-harvest task in the olive industry, where size-and-mass based fruit classification is especially important when processing high-quality table olives. Within this context, this research presents a new methodology aimed at supporting accurate automatic olive-fruit grading by using computer vision techniques and feature modeling. For its development, a total of 3600 olive-fruits from nine varieties were photographed, stochastically distributing the individuals on the scene, using an ad-hoc designed an imaging chamber. Then, an image analysis algorithm, based on mathematical morphology, was designed to individually segment olives and extract descriptive features to estimate their major and minor axes and their mass. Regarding its accuracy for the individual segmentation of olive-fruits, the algorithm was proven through 117 captures containing 11606 fruits, producing only six fruit-segmentation mistakes. Furthermore, by linearly correlating the data obtained by image analysis and the corresponding reference measurements, models for estimating the three features were computed. Then, the models were tested on 2700 external validation samples, giving relative errors below 0.80% and 1.05% for the estimation of the major and minor axis length for all varieties, respectively. In the case of estimating olive-fruit mass, the models provided relative errors never exceeding 1.16%. The ability of the developed algorithm to individually segment olives stochastically positioned, along with the low error rates of around 1% reported by the estimation models for the three features, makes the methodology a promising alternative to be integrated into a new generation of improved and non-invasive olive classification machines. The new developed system has been registered in the Spanish Patent and Trademark Office with the number P201930297.
INDEX TERMS Computer vision, feature modeling, food industry, fruit grading, image analysis, olive.
- INTRODUCTION
The olive (Oleaeuropaea) is aapecies belonging to the family of Oleaceae,which nowadays comprises one of the most significative horticultural crops worldwide. Mainly due to the increase of popularity the olive-derived products have experienced over the last decades,its cultivation,practiced for centuries in the Mediterranean Basin, has spread all around the world. Indeed, it can be found with a growing presence in such disparate countries as China, Australia or USA [1], [2]. This geographical expansion has obviously been accompanied by a huge growth in terms of production, which is directly reflected in the numbers the olive industry deals with. Thus, according to estimations for the 2018/19 crop year, a table olive production of 2,750,000 tons [3], and 3,130,000 tons for the case of olive oil is expected [4] .
The increasing demand and consumption of these olivebased products has led the industry to explore the use of new technologies aimed at developing a more profitable, competitive and sustainable market around it. Thus,as in other mainstream crops, olive sector is currently experiencing a process of major transformation [5], [6].
When talking about table olives, fruit classification according to size is a relevant task undertaken during postharvest manufacturing [7]. Size homogeneity,along with other sensory attributes, have a positive impact on the overall consumer opinion about the quality of the product [8]. Furthermore, this is not exclusive of olives, since fruit-size grading is a global issue within food industry when processing highquality horticultural commodities [9]. So much so that its automation has been historically a challenge to deal with, since this activity has traditionally been performed by hand, with all the drawbacks that it brings. First approaches to the problem have been based on purely mechanical solutions, as the integration of different size hoppers through which fruits can slide, according to their dimensions, into the conveyor belts used during postharvest treatment. However, they can potentially damage fruits [10], [11], since it implies a higher degree of physical manipulation of the commodities. In addition, they present obvious limitations in terms of the features the classification can be based on, and the information that can be recorded after processing.
Within the described scenario, the classical mechanical approaches have been reviewed in recent years [12], being machine vision probably the most investigated technique to build a new generation of less invasive postharvest horticultural classification machines. Thus, Baigvand et al. [13] proposed a machine-vision-based integral solution for dried figs sorting. Sad et al. [14] presented a methodology fusing image processing and supervised machine learning for grading mangoes according to shape and mass. Focused on the same crop, Wang et al. [15] suggested the use of RGB-D sensing for infield fruit size estimation. In addition, Mizushima and Lu [16] faced the
剩余内容已隐藏，支付完成后下载完整资料
附录A 外文译文
利用机器视觉技术实现橄榄果实的自动计数、个体大小和质量的估计
Corresponding author: Juan M. Ponce (jmponce.real@diesia.uhu.es)
摘 要
在橄榄产业中，水果分级是收获后的一项重要工作，在加工高品质橄榄时，以大小和质量为基础的水果分级尤其重要。在此背景下，本研究提出了一种利用计算机视觉技术和特征建模来支持精确的橄榄果实自动分级的新方法。在其开发过程中，利用专门设计的成像室随机分布在现场共拍摄了9个品种的3600个橄榄果实。然后，设计了一种基于数学形态学的图像分析算法，对橄榄进行单独分割，提取描述特征，估计其主、次轴及其质量。该算法通过117个含有11606个水果的捕获，仅产生6个水果分割错误，证明了该算法对单个橄榄果实分割的准确性。此外，通过将图像分析得到的数据与相应的参考测量数据进行线性相关，计算出三个特征的估计模型。然后，在2700个外部验证样本上对模型进行了测试，对所有品种的主、次轴长估计分别给出了低于0.80%和1.05%的相对误差。在估算橄榄果实质量时，模型提供的相对误差从不超过1.16%。所开发的算法能够对三个特征进行单独的分类，以及三个特征的估计模型所报告的1%左右的误差，使该方法成为一种很有希望的替代方法，可以集成到改进的新生成和非入侵的风险分类机制中。该系统已在西班牙专利商标局注册，注册号为P201930297。
关键字：计算机视觉|特征建模|食品工业|水果分级|图像分析|橄榄
一、介绍
橄榄(Olea europaea)是属于油菜科的一个物种，是当今世界上最有意义的园艺作物之一。在过去的几十年里，由于橄榄制品越来越受欢迎，在地中海盆地已经种植了几个世纪的橄榄，现在已经遍布世界各地。事实上，它在中国、澳大利亚或美国等不同的国家越来越多地出现。这一地理上的扩张显然伴随着产量的大幅增长，这直接反映在橄榄产业的交易数量上。因此，根据2018/19作物年的估计，橄榄产量为275万吨，橄榄油产量为313吨。
这些以橄榄为基础的产品的需求和消费不断增长，促使该行业探索使用新技术，旨在围绕它开发一个更有利可图、更有竞争力和更可持续的市场。因此，正如其他主流作物一样，橄榄目前正经历着一个重大转变的过程。
在橄榄采后加工过程中，根据大小对橄榄进行分级是一项相关的工作。大小均匀伴随着其他的感官属性对消费者对产品质量的整体看法有积极的影响。此外，这并不是唯一的任务，因为水果大小分级是一个全球性的问题，在食品行业加工高质量的园艺商品。如此之多以至于它的自动化在历史上一直是一个难以处理的挑战，因为这项活动传统上是手工完成的，具有它所带来的所有缺点。首先，解决这个问题的方法是基于纯机械的解决方案，因为不同大小的料斗集成在一起，水果可以根据它们的尺寸滑进采后处理过程中使用的传送带。然而，它们可能会损害水果的，因为这意味着对商品的更高程度的物理操纵。此外，它们在分类所依据的特征和处理后可记录的信息方面存在明显的局限性。
在上述场景中，近年来对经典的机械方法进行了综述，认为机器视觉可能是构建新一代侵袭性较低的采后园艺分类机器的研究最多的技术。因此，Baigvand等人提出了一种基于机器视觉的无花果干分类积分解决方案。Sad等人提出了一种融合图像处理和监督机器根据形状和质量分级芒果的方法。针对同一作物，Wang等人建议使用RGB-D传感器进行田间果实尺寸估计。此外，mizushima和lu面对这些苹果图片进行了分类，以便使它们能够自动分类。
同样地，橄榄树部门已经开始使用计算机视觉技术。Gatica等人提出了RGB-image分析和利用神经网络直接识别树上果实，从而理想地估计最佳采收时间。另一方面，在图像分析的基础上对品种识别进行了研究。因此,Martinezetal方法解决了从橄榄心内膜图像中提取特征的问题，然后使用偏最小二乘判别分类器。同样，Beyaz等人提出的使用水果和内卡菜的捕获来识别橄榄品种。除了对品种进行分类外，还对缺陷水果的鉴别进行了研究。为此，Diaz等人比较了根据橄榄表面条件对橄榄进行分类的不同算法。另一方面，Puerto et al.提出了一种将从地面收集的橄榄与直接从树上采摘的橄榄区分开的方法，因为前者会使随后生产的橄榄油的质量变差。
在之前的研究中，Ponce等人通过图像分析成功地发现了关于橄榄的质量和大小估计的可行性的有力证据。为了进一步拓展研究范围，本文提出了一种基于计算机视觉和特征建模的改进方法。进行了一个新的方案，在自动水果分级方面更接近于满足橄榄产业的需求。因此，设计了一种可在传送带中集成的图像采集腔，能够在受控条件下对橄榄批次进行拍照。有了这个设备，来自9个不同品种的橄榄群被拍摄下来，随机地将个体定位在捕捉区域，模仿它们在传送带上的混乱分布。然后，采用基于聚类的二值化方法对图像进行二值化处理，并利用数学形态学原理对融合后的触控图像进行分离。在分离单个橄榄后，从变换后的图像中提取所研究特征的描述性数据。最后，对这些测量值与相应的个体客观观测值之间的相关性进行线性回归分析(之前是在实验室中进行的)，以计算出用于估计图像中出现的每个单个橄榄的大小和质量的模型。
与该领域的其他研究不同的是，本文提出的方法是新颖的，因为首先，它提出了一个特定的图像采集系统，以较低的计算成本实现了高精度的图像采集二值化。这使得在一段时间内对水果进行单独的分割成为可能，这段时间可能被认为适用于实时系统，这对橄榄产业的可用性也有一定的影响。此外，在研究开发过程中使用的大量样本为所获得的结果的可靠性和通用性提供了保证。
下文主要分为三个部分。第一,第二部分着重于实验设计,展示相关的不同方面的特点,在这些水果样本研究中使用,描述的图像采集和参考数据收集(II-B节),并详细描述了该框架,开发了图像分析算法(II-C节)。第三部分介绍了所开发的方法，重点介绍了这个图像分析过程是如何设计成二值化(第三- a部分)、水果级分段(第三- b部分)和初始捕获后处理(第三- c部分)的。接下来，讨论了特征描述(III-D部分)和建模(III-E部分)，并详细介绍了方法学的性能评估(III-F部分)。在第四节中，提出并讨论了所取得的结果。最后，对研究结果进行总结，并得出本研究的主要结论。
二、材料和方法
- 样品收集
本研究选择了9个油橄榄品种:Arbequina、Arbosana、Picual、Ocal、Changlot Real、V erdial de Huevar、Lechin de Sevilla和2个实验品种，分别命名为967和1030。因此，每个品种收集了400个样本(总共3600个) 用橄榄手工制作果园位于直布罗陀(37◦20009.200N 7◦02019.800W)， Huelva省(安达卢西亚，西班牙)，2018年10月。对于每个品种，都选择了样本来覆盖所观察到的大小变化。
图1图像采集室
- 参考数据和图像采集
为了获取图像，我们设计并制作了一个成像室，其目的是将场景与任何外部光源隔离，从而最大限度地控制光照(见图1)。
水果被放在半透明的白色塑料板上。这张尺寸为500times;500times;2毫米的纸被整齐地放置在离室底部65毫米的地方，它被一组由25个5V的灯组成的均匀分布的条带从下面照亮。由于这种照明系统的设计，可以避免水果的阴影。作为索尼alpha;7-II捕捉设备,数字无反射镜相机(日本东京索尼公司(Sony Corp.))安装在顶部的室,垂直地看着成像区域。该相机安装了一个24 Mpx CCD稳定传感器，并配备了一个蔡司24/70mm镜头光学稳定。设置为手动模式，光圈设置为f/7.1，快门速度设置为1/50s, ISO灵敏度设置为250，焦距设置为31mm。相机设置为保存JPEG文件格式的图像，分辨率为6000times;3376像素，颜色深度为24位，像素密度为350 ppi。
每套400个品种的橄榄被分成50个水果批次，然后分别拍照，这样每个品种就得到了8张图片(总共72张)。关于水果的成像方式，唯一的标准是强制多次触摸。这一先决条件是为了接近一个复杂和现实的情况而设立的。
此外，为了测试所开发的图像分析算法的鲁棒性和准确性，每个品种(共45个)获得5个应力。在这五幅图像中，出现的水果数量逐渐增加。可以在图2中查看获得的两个图像示例。此外，表1总结了9个研究品种的橄榄-水果样本是如何整理和拍照的。
一旦拍下一批照片，对每个水果进行质量和大小的测量并登记。,3500 - 2 KERN PCB精密天平(巴林根市,孙KERN amp; GmbH德国)被用来评估橄榄油质量(g - g)。每个水果的大小进行分类,其相应的主要和次要的轴长度测量(在毫米毫米)使用数字V ernier卡尺,提供分辨率0.01毫米和0.02毫米的精度。必须指出的是，对于每一个品种，400个个体中的100个(总共900个)的主轴和次轴都是由3个不同的观察者独立测量的，同样是使用数字卡尺手动测量的。这是为了以后进行可变性的研究，目的是通过手工测量橄榄的大小来评估不确定性的程度，使用数字卡尺。
图2 (a)常规图像;(b)压力的形象。
表1材料:所使用的9个品种的橄榄果样品的组织和图像
- 图像解析算法实现
该方法的核心是设计一个图像分析算法，首先，将获取的图像转换为二叉分割的图像，然后从图像中提取数据结构，用这些数据结构对三个不同的特征进行水果计数和表征，以进行估计。后者指的是最初捕获的每一种水果。其发展主要是利用基于数学形态学的变换和统计阈值技术的二值化。在实现方面，使用了MATLAB和图像处理工具箱发布2018a。选择这种技术只是为了原型设计的目的，因为我们意识到，一个真正的系统，基于所提出的方法，将需要一个基于计算上更灵活和更有效的语言的算法。
三、开发的方法
图3 为计算和验证质量和尺寸橄榄果实估计模型而开发的方法学的代表
图3所示的图表说明了所进行研究的方法。本质上来说，数据集由获取的橄榄果图像及其相应的参考测量值组成，以前记录的，用于整个图像处理和分析过程，旨在计算并最终验证所追求的水果质量和大小估计模型。这一过程转换捕获和提取水果的描述性特征，以提供估计模型训练，将在下面的小节中详细描述
- 图像预处理
如前所述，目前的研究集中在一个场景中，橄榄可能出现与其他在图像接触。在此基础上，设计了基于分水岭变换的橄榄树果实分块图像分析算法。本节描述一组图像转换，这些图像转换应用于随后的分水岭转换应用程序的性能。
首先，对图像进行二值化处理，将水果对应的像素从背景中分离出来。为此，图像先前从RGB转换为HSV颜色空间。大量的文献调查了在开发图像分析程序时使用正确的颜色表示的重要性，在处理园艺产品的捕获时也不例外，无论追求的目标是什么。在本研究中，特定的光照条件使得获取的图像在亮度或亮度方面与背景像素和果实有重要的区别。为了利用这一特征对图像进行二值化，HSV包含了一个合适的颜色表示，因为亮度信息可以在特定的通道V (V值)中直接分析。因此，对该通道进行处理时，将其作为灰度图像处理，记为IV，将其灰度值进行倒转，表示比水果值低的背景像素:
（1）
其中255是每通道颜色深度为8位的图像的最高灰度值。然后，根据Otsu的方法计算出的阈值对macr;IVis进行二值化。这种全局阈值技术假设有两类像素，它们的灰度值分别属于前景像素和背景像素。因此，该方法通过最大化类间方差或类似地通过最小化类内方差自动计算类分离的最佳阈值，从而使两个类的像素水平的测量差之和最小。因此，图像macr;IV的ThOtsuis阈值是这样计算的: （2）
然后，将形态开口应用于生成的二值图像，其目的有二:1)去除由于尺寸异常而不能表示橄榄的白色像素小组;2)去除图像中可能出现的橄榄梗。数学公式为:
（3）
gamma;在哪里使用了盘状结构元素的形态开放beta;30像素的广播(23日,第108 - 106页)。这个分割和去噪/去蒂的过程如图4所示。
正如它可以检查，ibin2是一个准确的分割橄榄从背景。然而，触摸中的橄榄似乎融合了构建放大的连接组件(相邻像素集)。本步骤的目的是分离融合在IBin2中的橄榄，使每个连接的组件都对应于一个橄榄。有了这个目标，预处理就完成了IBin2上的距离变换DT，它计算每个像素到其最近的背景像素的欧氏距离：
（4）
式中，DT的数学表达式为:
（5）
这些信息将是IBin2中橄榄分离的关键。事实上，这是一个有意义的和简化的概念，所有的橄榄的质心，最初是否接触，构成了一个区域的最大值，作为到背景的局部最远点(见图4-(d))。注意，图像的一般区域最大值M可以定义为一组具有给定灰度值v的相邻像素，使得M相邻的每个像素的值都严格小于v，整个预处理过程如图4所示。
图4 图像预处理说明:(a)原始子图像;
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[411474]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
