英语原文共 6 页，剩余内容已隐藏，支付完成后下载完整资料
三个阶段的实时交通标志识别
1、引言
高级驾驶辅助系统 (ADAS) 在提高汽车的安全性和舒适性中发挥着重要作用。它的组成部分包括提供方向的导航系统、最新的交通信息以及基于视觉的系统，如车道偏离警告系统和交通标志识别系统 (TSR) 等。
其中，交通标志识别系统通过通知司机有车速限制或如道路结冰、 正在施工的道路工程或人行通道处等可能的危险来增强交通安全。TSR 算法主要面临着三个困难︰
一、由于分辨率低、恶劣的天气条件、过度或不足照明造成的图片质量低下。
二、交通标志的扭曲、遮挡和损坏。
三、在ADAS等实时应用程序中的内存和处理能力有限。
前两点的一些例子如图1所示。
本文从第2节开始，概述现有交通标志识别系统方法。三个阶段的方法描述在第 3 节，第 4 节中展示了所提出系统的整体性能，第 5 节中是对交通标志性能分类进行特征选择的效果的评价。在第6节展望未来可能的发展并结束本文。
图1 交通标志识别（TSR）任务遇到困难的例子：过度照明，照明不足，旋转，闭塞和标志恶化。
2、现有的方法
大多数交通识别算法将问题划分为三个阶段︰
- 通过粗糙的分割来确定交通标志的位置
- 确定交通标志的类别
- 利用各种机器及技术学习进行单元分类来识别所提取的交通标志。
分割阶段不是必不可少的一步。然而，它常常被使用在彩色图像的处理中。本节概述了一些 TSR 的三个阶段中使用的技术。
有一些方法，如文献[1，2] 通过使用跟踪来减少内存和处理要求。对被发现的候选目标再追查几帧以增强作出决定的有效性或减少后续帧中的搜索空间，从而加快了性能。一些方法已经实现，如文献[3]，只检查第 n 帧，来加快整个系统。
2.1、使用分段确定位置
因为交通标志需要被很容易地察觉到，所以它们的颜色亮丽，为红色、蓝色、黄色。因此，在检测中通常利用图像的预分割来减少搜索空间并获取感兴趣区域（ROI）。
由于RGB通道的直接阈值对照明的变化很敏感，所以RGB（红绿蓝）颜色之间的关系常常被使用。在文献[3]中，利用颜色增强来提取红色，蓝色和黄色的斑点。该变换强调了RGB颜色空间中给定的颜色通道相较与其他两个更占优势的像素。
在文献[4]中，色彩和消色差滤波器分别用于提取速度限制和警告标志的红色边界与白色背景。在文献[5]中使用了HSI模型（色相饱和度），它对照明变化是不敏感的。通过经验确定的固定阈值定义了每个HSI通道的范围，其中红色和蓝色交通标志为候选者。然而，文献[6]中指出，HIS模型所使用的非线性公式在计算上是很耗资源的。
2.2、利用形状检测的类别确定
有一些检测算法是基于边缘的检测，因此它们对照明的变化更具鲁棒性。这些基于形状的算法，例如边缘提取或颜色分割，利用了交通标志的不变性和对称性，然而，它们通常对预处理的图像质量比较敏感。
弗兰克等人[7]使用距离变换（DT）和模板匹配（TM）来检测圆形和三角形符号。类似地，Ruta等人[3]使用了颜色距离变换，它分别为每个颜色通道计算距离变换。匹配变换距离优于边缘图像的地方在于，对于图像的轻微旋转来说其相似度测量更加平滑，更具鲁棒性，但是它对仿射旋转和闭塞敏感。
在文献[4]中，在距离边界（DtB）向量上训练四个支持向量机（SVM），来对提取的候选ROI的形状进行分类。在文献[1]中，候选符号的FFT签名用于检测相关形状，此功能对于图像的旋转和缩放也是强大的，但对于阻塞和恶化则不行。
霍夫变换也广泛用于检测规则的形状，如圆形和三角形[8,9,5]。处理时间通过较简单的径向对称检测器[10]减少，但它局限于圆形交通标志。Ruta等人[9]使用置信加权平均偏移来改进霍夫变换结果，以消除冗余检测，将霍夫变换与中值滤波和扩张的迭代过程相结合，以优化文献[5]中的候选集。
如今，许多交通标志识别方法在检测阶段使用了梯度方向信息。Gao等[11]通过将任意固定点处的局部边缘方向与模板的边缘方向进行比较，对候选交通标志进行分类。在文献[12]中，对图像形状的特定子区域计算边缘方向直方图。在文献[13,14]中，对基于颜色的分割所获得的感兴趣区域（ROI）使用定向梯度（HOG）特征直方图来进行分类。为了将色彩信息整合到HOG描述符中，Creusen等[15]将每个颜色通道上计算的HOG描述符连接了起来，该特征的优点是具有尺度不变性、局部对比度归一化以及粗略空间采样与精细加权取向相合并。
2.3、分类技术
用于确定检测到的交通标志内容的分类技术一般包括两个类别：练习和最近邻方法。练习是指找到两个或更多类之间的最佳分离的方法，它包括一对多SVM分类器，Adaboost和神经网络。 最近邻方法是指从现有培训样本中寻找与所给定未知数最相似的样本的方法。它包括模板匹配和树分类器，如K-D树和随机森林。
Xie等[13]使用一对多SVM训练每个类的HOG描述符。The Forest-ECOC 算法分类器[16]实现了高性能率。多层感知器（MLP）[17,18]也产生高精度率。在文献[19]中，他们在识别速度限制标志中的字符时也达到了低假阳性率。在文献[20]中通过使用PCA和Fisher线性判别预选颜色特征来改善神经网络的性能。
在文献[5]中使用K-D树来识别符号的内容。而在文献[21]中使用的随机森林在数据集上胜过一对多SVM。他们还使用了分割与增强的朴素贝叶斯分类器组合生成一个SVM集合，提高了未组合时的性能，但是，它并没有超越随机森林。
树分类器的优点是它们易于训练和更新。学习方法倾向于数量偏多的集合，且通常需要大量的培训。最佳bin近似搜索[22]可以在K-d树中快速搜索，随机森林的随机性和合作表决使其对异常值和不平衡数据集具有鲁棒性。
3、本文使用的方法
我们提出一种高效和危险的交通标志识别方法，由三个阶段组成：（i）分割，（ii）形状检测和（iii）分类。这些在图2中展示。图像分割将搜索空间缩小为可能包含交通标志的红色区域。我们改进了Ruta等人使用的红色增强方法，在文献[3]中通过引入全局阈值，使用一个线性SVM / HOG检测器来检测圆形和三角形符号，再使用树分类器进一步有效地对被发现的候选目标进行分类，我们还将进一步介绍空间加权技术，以提高资源优化的精度和特征空间。
将这三个阶段的表现分别与最先进的技术相比较，分类这个步骤在德国现场交通标志基准挑战[23]中也进行了测试，我们的方法在准确性方面排名第三，经证明适用于嵌入式系统，因为它属于实时运行，资源高效。
图2 交通标志识别（TSR）提出的三阶段方法：（i）使用HOG / SVM进行分割（ii）检测（iii）使用树分类器进行分类
3.1、图像分割
在分割阶段要提取潜在的ROI，我们利用了Ruta等人提出的红色增强方法。在文献[3,24]中，对滤色器[4]的使用引入了形态滤波器，在应用了其中一种滤波器后，利用通过经验确定的阈值或是本文提出的自适应阈值来对图像进行阈值化，所得到的二进制掩码用于缩小搜索空间并减少连续检测器的虚假警报次数。
3.1.1、 颜色增强
对于图像中的每个RGB像素x = {xR，xG，xB}，红色增强由以下公式提供
提取出以红色分量为主的像素，而将其他所有像素设置为零。在他们的方法中，在后续阶段中将通过使用四叉树的递归阈值处理来检测ROI。
在我们的方法中，我们通过消除递归并对增强图像应用全局阈值来加快分割的过程，从而生成ROI的二进制掩码。所使用的阈值根据经验设置为mu; 4·sigma;，其中mu;和sigma;分别为整个滤波图像中像素值的平均值和标准偏差。全局平均值有助于对整个图像的亮度进行描述，而局部计算的平均值对图像中的细微亮度变化更为敏感。
图3b表示出了红色通道增强的结果。可以看到的是，边框和红色卡车图形被强调出来。当应用从红色空间增强获得的二进制掩码时，搜索空间减小，误报率也会降低，如第3.2.4节所示。使用全局阈值的方法比使用四叉树的递归阈值方法更快，更简单。对于亮度的局部变化也具有鲁棒性。
3.1.2、色彩过滤器
我们对彩色滤光片进行进一步评估以确定ROI。Bascon等人[4]使用消色差分割掩模来提取交通标志的白色背景和红色边框和黄色施工标志。图像的色彩分解使用以下公式来计算
其中D是无色像素的提取程度，在文献[4]中根据经验设定为D = 20。为了提取彩色像素，使用f（R，G，B）gt; 1，而f（R，G，B）lt;1的阈值用来提取无色像素，即缺乏色调的像素。然而，消色差分割不适合我们的应用，因为我们的图像序列中包含大面积白色区域，例如天空和建筑物。因此，我们利用色彩分割来获得交通标志的红色部分。彩色滤光片的结果如图3c所示。
3.1.3、 形态过滤器
我们检查两个形态过滤器，顶帽和其相应的底帽。前者强调与其附近区域（如交通标志内）对比度高的亮点像素。后者强调黑色像素与附近区域的高对比度，如符号轮廓和一些象形图。 通过这两个运算符和 获得的图像分别被定义为
其中I是输入图像, , , , 分别代表开放，关闭，扩张和侵蚀操作。 顶帽和底帽过滤的结果如图3d和3e所示。请注意，顶帽变换中强调交通标志的内部，而底帽变换中强调了轮廓和象形图。我们进一步应用根据经验确定的自适应阈值mu; 4·sigma;来获得指定ROI的二进制掩码，其中mu;和sigma;是整个滤波图像的像素值的平均值和标准偏差。
图3 TSR的图像分割：使用红色增强，彩色，顶帽和底帽滤镜的ROI提取，以减少搜索空间和加速检测。
3.2、类别检测
在本文中，我们专注于检测速度限制和警告标志。为了评估前面所提出的检测算法和作为滤波器的颜色分割的性能，我们使用了白天在不同气象条件下从城市和公路获取的图像序列，在检测阶段，图像被多尺度扫描，我们仅检查由分割掩码产生的区域，然后在分类阶段将所得候选目标传递给树分类器。
3.2.1、数据集和评估
我们的数据集包含24类交通标志：12种圆形标志和12种三角形标志。培训和测试的数据集分别包含14,763和1584个符号。每类的培训样本数量有显著的差异，因为每类的图像数量在15到3852之间变化，这种情况与现实世界是相结合的，实际上，有一些标志，例如速度限制，比警告标志更加丰富。样本图像分辨率为752times;480像素，如果预测的边界框与背景重叠超过50％，则被认为是正确的。其评估基于查全率和精度值，二者定义如下：
3.2.2、检测器的实现
被训练的探测器有两个，一个用于圆形交通标志，另一个用于三角形交通标志。探测器根据经验将正负比设定为1:10进行训练。对训练数据集中经过初始检测器产生了错误警报的样本，将其作为新的负样本被重新注入探测器，用以训练级联分类器。
我们使用了HOG描述符，因为它对于照明和尺度的变化能快速计算并且具有鲁棒性。选择HOG描述符的另一个原因是当使用无向梯度，即取0°和180°之间的方向时，静态（红色边框，白色内部）和动态（照明，红色边框，黑色内部）标志可被同一检测器发现。对于这种情况，其他特征（例如控制点或者哈尔特征）将无法实现此功能，因为它们使用的是定向梯度，即取向为0°-360°。
经过计算的HOG描述符用于训练两个线性SVM分类器（一个用于圆形交通标志，另一个用于三角形交通标志）。与文献[4]中对每个形状进行训练的四个SVM分类器相比，这显著降低了运行时的计算成本。
使用SVMLight1库，将得到的m个支持向量组合到单个全局向量v中，给定未知样本x的SVM分类函数f（x），其中支持向量为xi，拉格朗日乘数为alpha;i，标签为li。
这样将支持向量减少为一个的方法加速了检测进程，因为每个子窗口的HOG描述符x只需与单个向量v进行比较。
HOG描述符的最佳大小在文献[25]中被确定为是一个值为144的向量，具有块大小，步幅大小和4像素的单元格大小。经过检测，它是平衡需求和性能之间最好的取值。
3.2.3、分割模板的使用
我们建议对检测阶段通过分割产生的二进制掩码使用滑动窗口，再次调整图像大小并以不同的尺度对图像进行扫描，计算每个子窗口img（x，y，w，h）中像素值sum（img（x，y，w，h））的和，其中（x，y）和（w，h）为图片左上角子窗口的宽度和高度。如果白色区域与子窗口区域（img（x，y，w，h））的面积的比率超过给定的阈值theta;，见等式（11），那么就认为子窗口包含一个潜在的符号。其中二进制掩码图像的积分图像表示是用于加速计算。
因此，被选中的子窗口将被传递到用于圆形和三角形标志的HOG /线性SVM检测器中，从而进一步验证相应交通标志的存在。如图4所示，这种方法减少了搜索空间并且加速了检测，作为替代方案，也可以使用连通分量法找到ROI，但是，这种方法需要的计算时间可能更长。
图4 使用分割掩码来查找候选ROI：滑动窗口通过红色增强和自适应产生的二进制图像传递阈值，提取的子窗口包含足够的白色区域与子窗口区域的比例。这些传递给用于圆形和三角形标志的HOG /线性SVM检测器。
3.2.4、分割对检测的影响
我们评估了分割模板对HOG
全文共8104字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[142733]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
