基于视觉传感器的汽车检测与跟踪
Xavier CLADY, Rangois COLLANGE, Fr6d6ric JUFUE, Philippe MARTINET
LASMEA
UMR 6602 CNRS - Blaise Pascal University
Clermont-Ferrand, France
email firstname.name@lasmea.univ-bpclermont.fr
摘要
在本文中，讲述了一种短固定焦距相机和PTZ（平移倾斜变焦）相机相结合的视觉传感器。这里介绍的汽车检测和跟踪的工作处理过程使用的就是这种视觉传感器。这些算法已经在实际驾驶情况下嵌入到VELAC实验室的实验车辆的PC进行测试。我们的传感器可以检测和跟踪到距离前方140m的车辆。
1.引言
在智能车辆中，捕捉正面视图是一个基本问题。过去已经开发了许多解决方案，以捕获车辆环境（道路，障碍物...）。因此，目前研究和开发了若干传感器（GPS，雷达，激光雷达，遥测仪，摄像机...）
在本文中，我们提出了一个基于视觉的设备用来捕捉正面视图。它可用于“自适应巡航控制”系统或“碰撞警告或避免”设备，当检测到事故风险时通知或更换驾驶员。该设备能够通过提供关于障碍物和行车道的信息以及增加传感器范围（以检测和跟踪远方车辆）来应答这些应用中存在的问题。
在汽车检测和跟踪的先例中[10]，我们已经看到传感器范围（标准相机）被限制在大约60米。为了克服这个限制，我们的方法是添加一个PTZ摄像机。可以在变焦和平移倾斜角度中控制本相机。它可以以更好的分辨率提供对象（道路或车辆）的图像序列。要提高图像分辨率，可以加大传感器的范围。
在先前工作中的另一个限制是在障碍物车辆上使用标记。这些标记（两个后灯和屋顶上的额外的光）是必要的，以具有稳健的检测和跟踪算法。本文提出了检测和跟踪无标记车辆的解决方案。
本文由三部分组成。第一个描述视觉传感器。第二部分介绍汽车检测算法。第三部分给出了跟踪算法和控制律。实验是在示范性VELAC车辆内实现的，并且呈现在每个部分中。
2.视觉传感器
我们最初提出的方法是将短固定焦距相机与PTZ相机相结合。PTZ摄像机提供局部但定向的视觉，而标准摄像机提供前方场景的全局视觉。PTZ摄像机可用于聚焦然后跟踪车辆（参见图1）。然而，当第一个相机没有检测到车辆时，PTZ照相机用于检测远处的车辆（参见图2）。
图1.PTZ相机用于跟踪
该方案类似于由Dickmanns等人针对道路识别而提出的Marveye视觉传感器[9]。他们使用一个凝视控制系统，组合四个不同焦距的摄像机。在我们的视觉传感器中，变焦容易控制。这能够优化正面视图（这里指的是目标车辆的后视图像）的图像的分辨率。在图3展示了我们的视觉传感器是如何嵌入VELAC车辆。关于相机特性的更多细节在[4]中给出。
图2.PTZ相机用于检测
图3.我们的视觉传感器在velac车辆
在本文中，标准摄像机用于车辆检测，PTZ摄像机用于跟踪特定车辆（这里，我们认为最近的车辆是最危险的;我们知道它不总是存在的）。在接下来的章节中，我们描述了使用的方法和获得的结果。
3.车辆检测
使用单目摄像机进行的前方视图中的车辆检测包括以图像序列定位的汽车后视图像（这里的应用环境在高速公路上是有限制的）。此任务必须考虑两个约束条件：
（1）鲁棒性的检测; 所有车辆必须被检测，但是在序列的所有图像中不是必需的。
（2）实时处理
一方面，使用基于目标检测的特征来执行实时约束[19]。另一方面，外观检测提供了基于数据库的获取阶段而实现的目标知识的像素分类。这些最近的方法是非常稳健的[13，17]。然而，由于它们需要多分辨率扫描，导致它们是高耗时处理的。这里提出的方法综合了基于特征方法的低处理和基于外观方法的鲁棒性：第一个实现了第二个的一些ROI（感兴趣区域）[14]。这种方法减少了耗时。
许多特征（或线索）可以用于车辆检测。在本文中，我们使用车辆阴影或轮胎在道路上的定位和对称性估计，以使ROI的垂直和水平位置居中。道路的3D模型由[1]的算法提供，他提出了一种非常有效的方法，即通过单目图像处理来找到道路模型。
首先，我们认为道路图像的最黑暗的区域是车辆阴影或轮胎。为了检测它，我们需要一个道路像素亮度模型[11，18，16]。然而，这些方法的处理耗时是非常高的，我们提出了一种更简单的方法，即基于图像的阈值结合基于二进制图像处理的过滤器。阈值从我们的车辆附近道路的ROI计算，其中车辆的存在的概率非常低。在二进制图像上使用的滤波器去除道路外部的阴影和噪声像素（太小的区域），并且仅根据3D道路模型和车辆的平均尺寸使该区域保持在正确的比例范围内（约1.5 m）。宽度大于2m的区域，需要过滤：我们只保留其最暗的部分（在像素亮度的平均值下）。我们也验证了水平距离接近1.5米的区域：它们可能是潜在的汽车轮胎。
从阴影或轮胎检测的结果（参见图4的结果示例），我们可以定义ROI与3D几何结构等于3m.x3m。在每个ROI，我们应用对称性估计，改编自[21]，并在[19]中使用。这能够根据外观检测垂直中心。因为我们使用了Papageorgiou等人的研究。为了检测车辆的存在，我们参考[14]关于这种方法的更多细节。它使用了车辆的类harr特征小波表示和SVM分类器[20，2]。
图4.阴影或轮胎检测过程的结果示例。
为了训练分类器，我们使用具有超过1000个车辆图像的数据库。许多图像序列的结果给出如下：
（1）道路检测：平均15 ms，
（2）ROIs检测：平均53ms，
（3）每个ROI的处理时间：平均10ms，
（4）80％的良好检测（检测到图像序列中的所有汽车，但不是所有图像）
（5）1％的没有时间滤波的假报警; 具有简单的过滤器，其包括仅保持3次重复检测，没有观察到假警报。
图5.检测汽车的结果
所有计算时间都是在Pentium III 800MHz计算机上获得的。在图5示出了示例的图像序列所获得的结果。在右图中，我们可以看到一个表示检测到的汽车相对于车道的3D定位的图解。在图6和7处理的假警报和良好的检测率，与所检测的障碍物和VELAC车辆之间的相对距离有关。在15米以下，没有检测到车辆：这应归咎于相机孔径。15米和20m之间，高的误报率是由于初始的车辆图像中局部偏亮。超过20米，检测过程的功效随距离降低：这归咎于ROI中的低图像分辨率。
图6.检测到的障碍物的相对距离与误报率的关系。
图7.检测到的障碍物的相对距离与良好检测率的关系
这些实验表明我们的检测方法在20和100m之间真的非常有效。当检测到车辆时，我们在后者上初始化跟踪。下一节描述了使用的跟踪算法。
4.汽车跟踪
汽车跟踪是用由Jurie和Dhome[7]在LASMEA中开发的原始算法实现的。它包括将参考图案的位移与以检测到的车辆图案为中心的感兴趣区域中的强度变化相关联。该关系，假定是线性的，被定义为一个矩阵。该矩阵是在获取阶段计算的。这种获取阶段是耗时且昂贵的。因此，我们提出使用一些harr参数[3]。为了选择这些参数，我们对用于检测算法的车辆模式的数据库进行测试。这种跟踪算法呈现为通用方法的优点并且实时运行。结果表明，我们可以在翻译和规模变化中跟踪任何种类的车辆，。
图8.跟踪结果的示例
根据3D道路模型计算道路上的汽车位置。卡尔曼滤波器[10]用于估计其相对运动特性（横向和纵向位置和速度）。使用标准相机（焦距固定为1000像素），如果纵向相对距离在50-60米以下，这些估计是有效的。在图9示出了得到的用于汽车跟踪的示例的估计（参见图8）。
为了增加用于车辆跟踪的传感器范围，我们提出控制PTZ摄像机，以便使目标（车辆的后视图）以具有恒定尺寸的图像为中心（见图10）。它是通过传统的视觉伺服方法[15，5，4]获得的。由跟踪算法提供的视觉信息（图像中的车辆图案的位置和大小）用于控制PTZ摄像机的变焦和角速度。
基于通常的光学变焦模型（厚透镜模型，在我们的应用中可以简化为具有可变焦距的针孔模型[8，6]，因为目标和相机之间的相对距离相对较高），我们的以下结果示出了可以在驾驶员辅助应用中使用缩放来估计汽车的相对距离和速度。
图9.被跟踪车辆相对位置和速度的测量（“ ”）和估计（“x”）
图10.车辆的Ptz跟踪（左：标准相机视图，右：ptz相机视图）
图11估计距离和实际距离之间的误差与真实距离和ptz相机的焦距的关系
在图11中，我们可以看到估计距离（使用Dementhon算法姿态估计[12]）与样品（与汽车相同的大小）实际距离之间的误差是与实际距离和ptz相机之间的焦距有关的。使用标准相机（焦距固定为1000像素），误差在60m下误差升至10％。通过控制焦距，可以将此误差限制在3％以下。在速度估计上也获得了类似结果。对于距离60m以上的车辆，使用变焦可以给出比使用标准相机更好的估计。
图12距离远达140米的汽车跟踪示例。
在实际条件下的运动道上的测试，我们的方法是有效的。在这些测试期间，PTZ跟踪允许跟踪距离远达140米的汽车，如图12和图13所示。
图13相对纵向距离和被跟踪车辆速度的测量（“ ”）和估计（“x”）。
5.结论
这项方案描述了汽车驾驶辅助系统的初始视觉传感器发展的步伐：PTZ摄像机与具有小焦距的标准摄像机相结合。
汽车检测和跟踪的解决方案是为了成为通用（运行任何类型的汽车）和实时运行。视觉伺服处理装置意味着PTZ摄像机可以沿着序列图像聚焦在前车上。使用这种视觉传感器，我们可以跟踪一辆距离远达140米的汽车，并估计其运动学相对特性。
当完全实施决策模块时，传感器设备将完成。这个智能模块将分析由两个摄像机（和其他传感器）给出的信息，以根据交通演变来决定使用PTZ摄像机跟踪哪个车辆。
参考文献
[l] R. Aufrere, R. Cbapuis, and F. Chausse. A fast and robust vision based road following algorithm. In Proceedings of IEEE Intelligent Vehicles Symposium,pages 192-197, Dearborn, Michigan (USA), October 2000. “2000.
[2] C. Burges. A tutorial on support vector machines for pattern recognition. In e. U.Fayyad, editor, Data Mining and Knowledge Discouery, pages 143,1998.
[3] T. Chateau, F. Jurie, M. Dhome, and X. Clady. Real-time tracking using wavelet representation. In Proceeding of the Deutsche ArbeiLqgemeinschaftfr Mustererkennung-Symposium, pages 523-530, Zrich, Suisse,September 2002.DAGM2002.
[4] X. Clady, F. Collange, F. h i e , and P. Martinet.Object tracking with a pan-tiltzoom camera: application to ear driving assistance. In IEEE International Conference on Robotics and Automation, pages 1653-1658, Seoul, Korea, May 2001. ICRArsquo;2001.
[5] B. Espiau, F. Chanmette, and P. Rives. A new approach to visual servoing in robotics. IEEE Runsactions on Robotics and Automation, 8(3), 1992.
[6] 3. Fayman, 0. Sudarsky, and E. Rivlin. Zoom tracking. In Proceedings of the IEEE International Conference on Robotics and Automation, volume4, pages 2783-2788, Leuven, Belgium, May 1
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[139783]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
