Real-time embedded system for traffic sign recognition based on ZedBoard
Wagdi Farhat bull; Hassen Fairedh bull; Choukri Souani bull; Kamel Besbes
Abstract This paper presents a design methodology of a real-time embedded system that processes the detection and recognition of road signs while the vehicle is moving. An efficient algorithm was proposed, which operates in two processing steps: the detection and the recognition. Regions of interest were extracted by using the Maximally Stable Extremal Regions Method. For the recognition phase, Oriented FAST and Rotated BRIEF features were used. A hardware system based on the Xilinx Zynq platform was developed. The designed system can achieve real-time video processing while assuring constraints and a high-level accuracy in terms of detection and recognition rates.
Keywords ADAS Detection FPGA Image processing Real-time Recognition Video
1 Introduction
Automatic traffic sign recognition has been a subject of considerable interest, because of its role and its importance in increasing the traffic safety. It can help with avoiding accidents by warning the driver of hazards ahead such as: speed limits, special dangers and many other useful information. The automatic recognition system helps alert the drivers to the presence of road signs that they— perhaps—did not notice due to reduced alertness, tiredness or unfavorable environmental conditions.
In recent years, the automotive trade has pushed forward large-scale researches and industrial projects to develop autonomous and intelligent vehicles. In such cars, safety systems are considered as an important tool for improving road security. Nowadays, embedded systems and software represent 30–40% of the global value of vehicles in the world and this percentage is expected to increase. Traffic sign recognition (TSR) is historically one of the first areas of application of advanced driver assistance systems (ADAS).
In general, the traffic sign recognition system operates in two main steps: the detection and the recognition. The purpose of the first step is to localize the signs in the optical flow. It is important to note here, that the main challenge in the detection is to find a way to eliminate all the non-sign objects from the image. Particularly, we are trying to overcome problems related to partial occlusions, rotation, distortion, shape deformation, overlapping signs and to the hazardous environmental conditions. In the second step, several machine-learning techniques are applied to recognize the extracted features.
Embedded systems have limited processing resources. Indeed, video processing requires intensive processing that may compromise the real-time constraint. Nowadays, system-on-chip paradigm allows hardware and software co-design by the integration of hardware components and programming software modules.
In this paper, a design of a novel embedded ADAS system is presented. The system can detect and recognize road signs even in critical weather conditions and at different luminosity situations. The proposed system allows real-time detection in high-resolution images. The algorithm starts by color space transformation. Probable sign candidates are extracted by means of the maximally stable extremal regions (MSER) technique. Each candidate is examined by the recognizing process in order to accept or to reject the sign. This can be executed according to a local database. Finally, the system was implemented on a ZedBoard Xilinx platform.
2 Related works
Traffic sign detection methods are based on color, shape, or on the combination of both of them. Generally, methods that are based on the color enjoy higher processing time; however, the resulted performance could be affected by low light scenes or by bad weather conditions. The regions of interest are mostly detected using the color segmentation. These detected candidates could be identified or rejected during the following step. The color segmentation is investigated in by considering normalized signs colors. This process is usually applied using modified or improved RGB color space. Other color spaces such as YUV, Lab, or HSV are also considered and tested by some authors. The shape detection could be computed by applying the Hough transform, the Chinese transform or the distance transform template matching.
Several real-time hardware implementations for TSR algorithms have been proposed in the literature. For instance, the field-programmable gate array (FPGA) Virtex4 and Virtex5 based on hardware implementation was reported in. The FPGA cyclone II accompanied by the Nios II softcore was also used in. A graphic processor unit (GPU) was used in. In the following sections, we develop our proposed algorithm and its hardware implementation on a ZedBoard. Then, we compare the performances obtained with the six previous cited works.
3 Algorithm development
The development of the algorithm is made in three main steps: The first one is the data formatting. The second one is the detection, in which the probable sign candidates are extracted and the regions of interest are identified. The third step is the recognition, which is related to the database.
3.1 Formatting process
The detection rate depends mainly on the choice of the color space and on the technique of shape detection. In fact, since road scenes are affected by significant changes in light conditions, the input image has to be converted to an adequate color space, which allows to reduce the lighting effect. Thus, an initial pre-processing step is necessary to enhance traffic signs regions and fade background. Images and video sequences are acquired and stored in the RGB color space. The RGB color space is found to be very sensitive to illuminated situations. A
剩余内容已隐藏，支付完成后下载完整资料
基于ZedBoard开发的交通标志实时识别嵌入式系统
摘要 本文提出了一种实时识别嵌入式系统的设计方法，该系统可在车辆行驶时对路标进行检测和识别。本文提出了一种高效的算法，该算法分两个处理步骤：检测和识别。 检测阶段使用最大稳定极值区域提取感兴趣的区域。识别阶段则使用了定向的FAST和Rotated Brief功能。开发基于Xilinx Zynq平台的硬件系统。经设计，系统可以实现实时视频处理，同时确保检测和识别率的高精度准确性。
关键词 ADAS 检测 FPGA 图像处理 实时识别 视频
1引言
交通标志自动识别因其作用和其在提高交通安全中的重要性，而引起了人们的极大兴趣。通过提前警告驾驶员注意危险，如：速度限制，特殊危险和许多其他有用的信息，来帮助人们避免事故。自动识别系统可帮助提醒驾驶员注意道路标志，而这些标志可能会由于警觉性降低，疲劳或环境条件不利而未能引起驾驶员的注意。
近年来，汽车行业推动了大规模的研究和工业项目，其中开发自动驾驶和智能汽车大受青睐。而在这种汽车的设计中，安全系统被认为是提高道路安全性的重要因素。如今，嵌入式系统和软件总价值占全球汽车总价值的30％至40％，而且这一比例预计还会增加。历史上，交通标志识别（TSR）是高级驾驶员辅助系统（ADAS）的首批应用领域之一。
通常，交通标志识别系统以两个主要步骤运行：检测和识别。第一步目的是将信号定位在光学流中。必须注意的是，检测中的主要挑战是找到一种在图像中消除所有非符号对象的方法。而我们的目的正是努力克服部分咬合，旋转，形变，符号重叠以及危险环境条件等有关检测的问题。第二个步骤应用了几种机器学习技术来识别提取的特征。
嵌入式系统的处理资源有限。的确，视频处理需要密集处理，但这样一来可能会影响实时约束。如今，片上系统范式允许通过集成硬件组件和编程软件模块来进行硬件和软件协同设计。
本文提出了一种新颖的嵌入式ADAS系统设计。该系统甚至可以在恶劣的天气条件下以及在不同的亮度条件下检测和识别道路标志。这其中系统需允许在高分辨率图像中进行实时检测。该算法从色彩空间转换开始，借助最大稳定的极值区域（MSER）技术来提取可能的候选符号。识别过程会检查每个候选符号，以接受或拒绝该标志，这可以关联本地数据库执行。此外，该系统在ZedBoard Xilinx平台上实现。
2设计相关
交通标志检测方法基于颜色，形状或两者的组合。通常，基于颜色的方法需要更长的处理时间。但最终的性能可能会受到弱光场景或恶劣天气条件的影响。被捕捉的区域通常使用颜色分割进行检测。接下来就可以识别或拒绝这些检测到的候选对象。在捕捉时，我考虑了归一化的标志颜色来研究颜色分割。所以通常使用经过修改或改进的RGB颜色空间来应用此过程。一些其他研究者还考虑并测试了其他颜色空间，例如YUV，Lab或HSV。也可以通过应用霍夫变换，中文变换或距离变换模板匹配来计算形状检测。
早在其他人的研究里已经提出了用于TSR算法的几种实时硬件实现。例如，可基于硬件实现的现场可编程门阵列（FPGA）Virtex4和Virtex5，还比如使用了带有Nios II软件的FPGA cyclone II。还使用了图形处理器单元（GPU）。
在以下各节中，我们将在ZedBoard上开发提出的算法及其硬件实现。
3算法开发
该算法的开发分三个主要步骤：第一个是数据格式化。第二个是检测，其中提取可能的候选符号并识别感兴趣的区域。第三步是识别，它与数据库有关。
3.1格式化过程
检测率主要取决于颜色空间的选择和形状检测的技术。实际上，由于道路场景受光照条件的显着变化影响，因此必须将输入图像转换为足够的色彩空间，从而降低照明效果。因此，初始的预处理步骤对于增强交通标志区域和淡化背景是必要的。图像和视频序列被获取并存储在RGB颜色空间中。发现RGB颜色空间对照明情况非常敏感。作为替代方案，这项工作将研究HSV色彩空间，因为已证明它对明亮的场景不敏感。因此，我们将输入图像和视频转换为HSV色彩空间，以获取三个单色图像，依次命名为：H，S和V。H是表示颜色的色相表示，S为V是图像中色彩的饱和度，而V是表示图像中光度的值。
3.2检测过程
具有形状信息的MSER技术可以检测和提取交通标志。MSER区域检测器用于查找最大稳定区域，例如道路交通标志。 MSER技术应用于S和V单色计划。这些过程以并行方式操作，在每个计划中，都将识别出感兴趣的区域。因此，将计算每个计划的合并结果的组合。然后，将最大稳定的连接分量提取为MSER区域。
另外，根据它们的形状分析了这些感兴趣的区域。考虑了两个参数来过滤每个提取区域中的形状。对于每个感兴趣区域的每个连接的分量，计算面积和纵横比参数。这些参数是根据观察到的道路场景特征凭经验得出的，如表1所示。
每个连接的对象都被标记，然后分别进行处理。当对象的参数（纵横比，面积和面积比）超出固定范围的指定范围时，将拒绝这些对象。
3.3交通标志识别过程
识别过程的目的是根据数据库识别所提取符号的含义。然后，对提取的对象进行尺寸归一化以获得60times;60像素尺寸的矩阵。在基于数据库的比较之后，识别步骤处理特征提取，然后进行特征匹配。提取功能的实现要归功于定向的快速和旋转简短（ORB）描述符。
ORB技术是一种快速的二进制描述符，它结合了FAST关键点检测器和最近开发的Brief描述符。将数据库中标志存储的ORB特征与采集图像中的特征进行比较。通过特征匹配，可以确定对象是否为符号。
4硬件、软件实施
一旦对算法进行了仿真和验证，就可以在与Linaro Ubuntu系统（LUOS）一起运行的ZedBoard平台上实现该算法。
4.1系统概述
基于Zynq FPGA的平台如图6所示。系统的输入是一台数码相机，它可以在RGB颜色空间中获取高清质量的图像。图片的分辨率为1360 * 800像素。 ZedBoard还连接到一个小的视频屏幕，以显示识别出的符号。在开发阶段，ZedBoard连接到鼠标和键盘。
安装的操作系统是Linaro版本14.04。该应用程序是使用OpenCV 3.0.0环境开发和编译的。集成的ARM处理器执行生成的代码。 Xilinx工具考虑到输入（摄像头）和输出（视频屏幕）的硬件驱动程序，允许生成片上系统（SoC）。板上集成的DDR存储器用于存储输入图像以进行处理和识别符号以在屏幕上显示它们。
4.2实施
在分析和评估了软件原型之后，便构成了最终的平台架构。该系统是使用软硬件协同设计方法设计的，该方法可用于同步硬件和软件设计的零件。 Xilinx的Vivado Design Suite14.4环境用于软件部分的开发和硬件配置。
视频应用程序软件在嵌入式平台上运行，以可视化捕获的输入。使用OpenCV库将处理后的视频编码为C ，然后在相同的硬件上执行。 ARM处理器的最大频率为800 MHz。
Zynq设备的硬件平台配置可以被构造和描述为两个不同部分之间的相互通信，这两个部分是处理系统（PS）部分和可编程逻辑（PL）部分，如图7所示。硬件模块和高级可扩展接口（AXI）系统总线之间的I / O电路互连，它是高级微控制器总线体系结构（AMBA）的一部分。 PL和PS都共享DDR控制器，因此它们都可以访问DDR SDRAM。实际上，所有硬件模块都是通过AXI总线互连的层次结构连接到处理系统的。 AXI接口可提供更高的性能，并提供统一的接口。 AXI4总线还用于访问硬件加速器的参数配置寄存器和AXI4-Stream总线接口。
5结果与讨论
根据应用程序性能，然后根据硬件性能，对结果进行评估和讨论。
5.1应用程序性能
出于评估目的，计算了三个度量：精度，F度量和召回率。 这些度量标准表示如下：
(1)
(2)
(3)
(4)
真正的正（TP）指标定义正确检测到的符号的数量，错误的正（FP）指标定义被视为符号的错误检测到的对象的数量，而假阴性（FN）指标定义未检测到的真实符号。
三个数据集用于测试应用程序：两个公共数据集（德国交通标志检测基准和西班牙阿尔卡拉大学GRAM组交通标志的数据库），最后是我们的本地私有数据集。
第一个子数据集GTSDB包含用于检测过程的900张图像，这些图像分解为600张图像进行训练，并分解为300张用于评估和测试。第二个子数据集GTSRB包含超过50,000个交通标志图像，这些图像按43种不同的路标类别进行了分类。
值得一提的是，我们的本地私有数据集是在不同的光照情况下（例如，在夜间或白天）和在各种天气情况（多雨，晴天，多云，有雾等）下以及在不同的位置（即城市）执行的，乡村和高速公路场景），并且在不同的车速下，时速在20至130 km / h之间。此外，在这些验证方案中已考虑到许多受模糊，几何失真，光对比度，劣化和部分遮挡影响的具有挑战性的图像。我们的数据集来自六个视频镜头，其中包含278个根据形状和颜色分类的标志。
在表2中，收集了测量指标，其中精度，查全率和F量度值几乎相等。值得注意的是，使用三个数据集来评估算法性能。但是，提出的算法提供了几乎相等的TP，FP和FN速率。因此，我们提出的用于检测目的的算法产生了可接受的准确性和有希望的性能。
三个数据集用于识别过程。结果列在表3中。可以看出，对于GRAM数据集，识别率高于88％，对于GTSDB数据集，识别率可以达到94％。使用GRAM数据集可获得最高的FP和FN识别率，它们分别达到7％和11％。
因而发现，该算法在检测和识别场景昏暗亮度低以及恶劣天气条件下足够有效。此外，当标志被遮挡不超过其面积的2％时，识别就会失败。大部分发生在中心的局部遮挡直到遮挡区域的10％才影响识别过程。当遮挡发生在标志的边界时，识别通常会失败。即使车辆在行驶中，也可以在远距离正确识别扫描的场景。较远标志的最小尺寸约为12像素* 12像素。可以正确识别3°至25°的倾斜面板。
5.2实时性能
该应用程序使用了ARM处理内核总资源的67％，还使用了FPGA查找表（LUT），RAM块（BRAM），寄存器和分片。
对于检测过程，已实现算法的估计平均执行时间为22 ms。检测过程由几个顺序的操作组成，例如颜色空间转换和MSER方法的应用。识别过程的运行时间约为61毫秒。然后，系统能够每秒处理12帧（12 fps）。实际上，该系统每秒可识别12个批次的标志（即，每个场景许多标志）。在这种高速公路情况下，道路标志之间的距离大于1 km。在以130 km / h的速度行驶时，系统可以在最小距离为65 m后检测到下一个路标。但是，在速度低于30 km / h的城市地区，该距离减小到1 m。
六，结论
本文提出设计了一种基于Zynq7020 SoC平台的嵌入式系统。该系统符合ADAS应用程序的要求。所提出的嵌入式系统的计算性能优于文献中已有的工作。该平台已经实现了路标识别算法，并取得了可喜的成果。与现有的基于FPGA的TSR系统相比，系统性能得到了显着改善。该系统可以成功检测出测试图像中的所有迹象，几乎没有误报。所提出的系统可以有效地在白天和夜晚的照明下工作。它使用MSER方法识别形状，召回率和准确率分别达到94％和95％。最后，使用ORB描述符执行象形图识别。所提出的系统优于一些比较算法，可提供97％的平均识别精度。为实现所建议的硬件实现而获得的结果表明，我们的系统可以处理实时执行。从获取场景到显示识别出的符号，测量的执行时间为83 ms。至此，我们认为我们所提出的系统为ADAS系统提供了一种新颖的硬件体系结构，可以为更好的性能做出贡献。
基于计算机控制的自动导引车设计
摘要 自动导引车是现代自动化仓储技术的发展趋势，它可以实现灵活的运输，灵活的使用，运输效率高，节能，无污染，节省人工成本。本文简要介绍了AGV的结构和功能，并详细介绍了AGV的运动数学模型和导航计算。最后，本文设计了AGV的控制系统。
随着该国大规模集约化生产的广泛使用，各种先进的自动控制输送机系统应运而生，自动导引车运输系统（AGV）是先进实用的自动物料搬运设备之一。 AGV具有自动化程度高，应用灵活，安全可靠，操作无人值守，结构简单，易于维护等诸多优点，广泛应用于汽车制造业，烟草业，工程机械行业，机场等物料运输场所。作为柔性生产系统，柔性装卸系统和自动化仓库。AGV是现代物流系统的关键设备，对提高生产自动化程度和生产效率具有重要意义。
关键字 AGV；结构和组成；运动模型导航
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[235987]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
