英语原文共 9 页，剩余内容已隐藏，支付完成后下载完整资料
扩展交通信号灯识别：相位和导向符号的有效分类
摘要—虽然交通信号灯识别领域的大量工作投入到交通信号灯的检测中，但其精准度（包括彩色相位和可能的箭头符号）的分类经常被忽略。在本文中，我们提出了一种有效的基于视频的状态分类方法，特别注意所显示的符号和拒绝错误检测的附加能力。识别当前的灯光并对其进行分类。灯光被提取并转换成HOG特征，在机器学习分类器的帮助下对箭头形符号进行分类。为了获得最佳结果，我们比较了不同算法的性能，即LDA，KNN和SVM。我们对单个图像方法进行了评估，并证明了彩色相位的分类率为96.7％，箭头形符号的分类率为92.8％，使用SVM分类器结果最佳。这导致整体分类质量为89.9％。每个图像部分的运行时间小于1毫秒，我们的算法可以很容易地集成到每个交通灯识别管道中。
I.介绍
对于辅助驾驶和自动驾驶领域的应用来说，为了执行适当的操作，或在辅助驾驶的情况下，向驾驶员显示当前最相关的信息，建立和维护汽车环境是非常重要。这种环境的许多部分受交通法控制并具有标准化的外观（如交通标志和街道标记），这大大简化了自动识别。
在交通灯的检测方面投入了大量的精力。然而，许多方法只集中在检测而忽略了交通灯的实际状况。最重要的是，无论是在检测后还是检测过程中都会明确地对在红色、绿色和可能黄色的交通灯进行粗略的分类。通过这样做，可以忽略大量可用的信息，因为红绿灯也可以提供它们适用于哪条车道的信息。
这种信息包括允许绿灯通行和红灯停止的提示，这是最简单的情况。黄灯提供的信息内容取决于汽车相对于交通信号灯的位置。如果汽车离得很远，应该启动制动。但是，如果汽车离红绿灯很近，这就是不必要的。在一些国家，交通灯在第四阶段提供额外信息，其中红灯和黄灯同打开。此阶段发生在红色和绿色阶段之间，并提示驾驶员开始驾驶。
此外，导向灯有时还包含驾驶员可以遵循的方向的信息。特别是在多车道交叉口，交通灯指示该车道可以进行的转弯操作。这是由红绿灯上的箭头表示的，红灯和黄灯顶部显示为黑色，而绿灯本身由黑色背景上方的彩色箭头组成。最常见的方向是左，右和上。图1概述了我们在此工作中要区分的不同类型的交通信号灯。据我们所知，以前的工作没有考虑过从视频序列中提取这些信息。
此外，分类提供了评估检测到交通灯正确性的机会。通常，在每帧中只应进行少量检测。因此，有可能采用成本较高的评估方法，因为在识别过程的早期阶段需要花费太多的时间。
图1.我们目的在区分的不同类型交通信号灯的例子
如表I所示，交通灯可以进入四种不同的颜色阶段，它可以显示四个不同的导向符号，总共16个等级。我们选择通过划分成两个部分来简化这个分类过程。在第一部分中，彩色相位是通过找到ROI（感兴趣区域）周围的活跃灯光来确定的。在第二部分中，我们确定了活跃灯光的范围；因此，我们对k-近邻分类器和支持向量机在这个问题上的性能进行了线性分析评估。
在第II节，我们提供了当前技术的概述，这些技术可用于检测和（部分）分类交通信号灯的视频序列。所提出的方法在第III节中详细解释。之后，在第IV和V节中，我们提出了实验和实现的结果。最后，在第VI节，得出了结论。
表I. 交通灯的相位和导向符号可以显示的不同属性的概述。实际等级由相位和符号之间的叉积给出，总共16个等级。
AI.相关工作
如前一节所述，研究的一个主要部分涉及交通信号灯的检测，而其相位或其他方面的进一步区分往往被忽略。这项工作的例子有Omachi和Omachi[1]、Wang等人[2]和Gong等人[3]。在下文中，我们将简单描述当前可用于检测交通灯同时还提供最小的分类的方法。
Charette等人[4]应用了一种基于Top-hat形态运算符的聚光灯检测方法来识别图像中的光源，使其能够检测悬浮和支持的光。操作员提取交通信号灯可能位置的假设，这里允许大量的假阳性。过滤这些假设并将适应模板匹配应用于其他位置。由于绿色，黄色和红色交通信号灯要用不同的模板，因此必须在此进行基本分类。
John等人[5]提出使用深度学习方法来交通灯识别。他们将GPS信息与交通灯位置数据库一起使用来限制图像中可能包含的灯光区域。在该区域内，利用颜色、强度和形状信息来识别候选ROI。然后将这些ROI输入卷积神经网络，该网络通过决定每个ROI是否包含红色、绿色等信息来提供最终检测和分类。在获得良好的检测结果的同时，该系统不具备实时能力并且只能区分红灯和绿灯。
Lindner等人[6]提出了由检测、跟踪和分类组成的整个识别管道。根据彩色或灰度相机的可用性，使用不同的检测器。对于分类，应用前馈神经网络来区分红色、黄色和绿色交通灯，与我们的工作类似，可以拒绝错误的检测。
Cai等人[8]是少数提出一种包括颜色和箭头状态的交通灯检测和分类的整体方法的作者之一。他们应用形状和颜色约束进行检测，并对通过二维 Gabor小波变换和2DICA算法获得的特征使用KNN分类器进行分类。虽然实现了91％的识别率，但他们的工作仍有改进的空间。单个图像的分类需要56毫秒的处理时间，这导致总帧率为6.57 fps，使得该方法不具有实时性。所有数据集中的箭头灯由黑色背景上的发光形状组成，消除了在发光背景上识别黑色形状的困难。此外，作者没有提供有关他们选择参数值以及他们的数据分配到训练和测试集中的KNN分类器的信息。
BI.方法
值得注意的是，术语“交通灯”用于描述矩形板上的三个圆形、彩色灯的整体，“光”指的是单个灯。如第一节所述，建议的方法分为两个不同的步骤:第一步决定交通信号灯显示的是哪种颜色的灯（或灯光的组合）（也被称为交通的“相位”）;在第二步中，如果它们存在（或者交通灯显示“导向符号”）确定箭头指向的方向。
仅显示交通灯（以及周围小区域）的图像与图1中所示的相同作为我们系统的输入。它们可以通过应用第二节中描述的任何方法生成。为了进一步处理，对输入图像和交通信号灯做了一些假设，但这些假设应该很容易满足：
bull;整个红绿灯包含在图像中，大致居中。
bull;单个图像中只包含一个交通灯。
bull;光源的直径至少为4个像素。
bull;从上到下呈现红色、黄色和绿色。
bull;箭头（如果存在） 在红色或黄色背景上为黑色，或在黑色背景上为绿色，并指向 Tab. I. 中指定方向之一。
A.相位分类
第一步的目标是找到精确的矩形周围的每个活动灯的 Rg，Ry 和Rr 。根据某种颜色的ROI的存在（和不存在）来推断分类决策。如果只能找到一个ROI，则交通灯的相位可被分为“绿色”（代表Rg）、“黄色”（代表Ry）和“红色”（代表Rr）。
图2.在相位分类期间，很容易对中间步骤的示例进行分类。在每个图像中，左侧部分显示原始输入图像。从左到中部分显示图像的HSV颜色表示，其中通道映射到RGB颜色空间;由于光具有高饱和度和高值，因此它们显示亮绿色蓝色，分别映射到绿色和蓝色通道。中间部分显示初始颜色分分割，参数在 Tab. IV.中给出。右到中间部分显示形态算子后的颜色分割。最后，最右边的部分显示了光的最终ROI假设。
对于多个ROI，仅Ry 和Rr 的同时出现被认为是有效的。在任何其他情况下，没有找到ROI或ROI的不同组合 ，当前输入图像被视为无效并且不再进一步处理。如前所述，这提供了验证先前交通灯检测结果的可能性。获取ROI的过程如下所述。
由于清楚地定义了各个光的颜色，因此颜色分割是识别可能是光的一部分的候选像素的合理方法。分割的阈值在HSV空间中定义。在该颜色空间中，描述光的可能颜色的间隔是一致的，这使得对每个像素和颜色只进行六次比较就可以执行颜色分割。色调主要定义颜色，而值和饱和度的选择方式只能分割可能是发光源一部分的亮像素。
在这个初始分割过程中，我们的目标是尽可能多地包含光的像素，同时接受错误分割的像素，这些像素将在随后的处理步骤中被删除。从分割中，我们分别收到三个用于绿色、黄色和红色颜色定义的二进制图像、和，其中候选像素标记为1，其余像素设置为0。
为了消除噪音和小误差，我们在和上进行了一次打开。由于绿灯上的象形图是倒转的，所以这个过程不适用于分割的绿色像素。由于箭头的两个部分之间有一个小间隙，因此被照亮的部分较小，并且没有完全连接。应用一个开口，可能会有风险删除正确分割的像素，这些像素为第二个分类步骤携带有价值的形状信息。因此，我们在上执行闭合操作，以便在应该存在箭头的情况下闭合所述间隙。作为结构元件，使用3times;3像素的十字。
基于这些去噪的二值图像，我们想确定实际光的位置。为了做到这一点，有必要确定连接的分段区域的数量。如果某一颜色存在多个区域，则必须确定哪一个区域（如果有）最可能描述光。我们通过对分割后的像素进行聚类来解决这个问题。基于每个像素的8连通邻域，可以返回几个簇、和，其中是一种颜色的所有簇的运行索引。
这种聚类是通过连接彼此特别接近的簇来细化的。如果两个区域周围的边界框的大小超过两个单独边界框的总和大小小于一定量，则两个颜色簇合并在一起；例如，如果
(1)
其中x表示其中一种颜色，返回簇周围边界框的大小。这允许在单个集群中收集绿灯的所有像素，即使关闭操作无法关闭间隙。这对于带有象形图的红色和黄色灯尤其重要，在这些灯的开口处，可能会将灯分成不同的区域。
在集群之后，每个集群区域都会根据其大小、形状和在图像中的位置进行验证。我们需要一个直径至少为4像素的光源，为了方便起见，可以用可配置的阈值来表示。较小的星团不能代表有效的光，因此可以被忽略。
单个光大致是圆形的；因此聚集区域的纵横比应该接近一个。在某些情况下，我们观察到颜色分割失败，无法用箭头精确分割灯光的上半部分。因此，我们为纵横比选择了一个相当宽松的阈值2，如果边界框的一侧长度超过另一侧长度的两倍，则放弃当前簇。
由于交通灯的严格布局（如本节开头的假设所述），我们要求红色分割像素位于上方，黄色分割像素位于中间，绿色分割像素位于输入图像的底部三分之一，以便属于各自的灯光。我们通过检查与图像的相应三分之一重叠的集群边界框的区域以及应用阈值着色来强制执行此要求。让它成为图像的前三分之一；如果
(2)
由于交通信号灯可能稍微偏离中心，因此较小的色调值可以降低探测器的准确度，从而加快探测器的速度。
在许多情况下，这个过滤过程已经删除了所有的集群，除了正确的集群，我们可以围绕它构建最终的ROI 。如果对于光的位置仍然有多个假设，我们只需选择最大的假设。之后，每种颜色的投资回报率最多只有一个。我们观察到，在某些情况下，在交通灯背景中颜色相似的物体周围发现ROI；例如，与黄灯高度相同的优先标志。这些错误——以及其他错误的检测——分享了ROI相对较小的方面。然而，它们的大小不能完全消除，因为它们仍然足够大，像一个模糊的交通灯，没有准确地切断。如果发现不同颜色的ROI，我们就有可能验证它们的尺寸。我们再次对两个ROI 和之间的最大尺寸差异应用阈值。如果
，则移除。
红光和黄光同时出现的假设和为我们提供了额外的改进机会。由于灯的布局，和应垂直居中，不应相交。我们调整ROI的水平坐标以强制居中并通过缩小更大的ROI来消除交叉点。图3给出了必要的例子。
图3.在此示例中，红色和黄色的颜色定义重叠（详见第V节）
图4.更难分类的例子。每个图像的结构与图2中的结构相同。左图：这里大部分背景被分割为黄色;由于检查了最大长宽比，我们的算法能够正确检测绿灯。中：黄灯存在很多假设;所有错误的都可以被消除由于黄灯的大小和位置。右图：雾气环境导致光线同时分割为红色和黄色;由于它的位置，灯可以被识别为红色。
在此步骤之后，我们得到了最终的ROI，我们可以从中推断出相分类结果。图2概述了到目前为止所描述的中间步骤。表II总结了已应用的可调阈值参数。
B.象形图分类
除了希望获得最佳的分类结果外，还有另一个原因需要投入大量精力来寻找活跃灯光周围的ROI。这些ROI作为下一步的输入——灯上象形图的分类。对每个投资回报率的内容分别执行以下描述的过程-对于每个投资回报率，计算分类结果。对于多个检测到的ROI，这些结果随后进行比较；如果它们相互矛盾，则无法就箭头方向做出最终决定。
我们应用最先进的机器学习算法进行分类。虽然对原始图像数据进行分类是可能的，但我们搜索的是描述性图像特征，这些特征为分类提供了最相关的信息。灯光上的箭头主要由其不同方向的边缘定义，这导致我们决定使用定向梯度（HOG）特征的柱状图[9]。Hog特征[10]对于平移和缩放是不变的，并且已经被证明对其他几个检测和分类任务是有效的[11]。
表II. 在阶段分类步骤中生效的不同参数、它们的含义以及我们为它们选择的值。
在ROIS定义的原始输入图像的切割区域上计算HOG特征。根据原始作者的建议，分别计算每个RGB颜色通道上的梯度，并选择最大值。为了确保结果一致，并通过使用相同长度的特征向量简化分类过程，我们在应用Hog描述符之前将所有ROI图像缩放到24times;24像素。这包括对较大的ROI进行降采样。
图5.在某些情况下，顶部的黄色箭头的上部被切掉。仍然可以找到ROI，但它仅包括包含直线的箭头的底部。通过对黄灯使用单独的分类器，我们考虑了这种错误来源。
由于绿色象形图是倒转的，它们应该被送入一个单独的分类器。然而，红色和黄色的光可以通过一个分类器进行处理。然而，我们决定对每种颜色使
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[609461]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
