Visual surveying platform for the automated detection of road surface distresses
Thegaran Naidoo, Deon Joubert, Tapiwa Chiwewe, Ayanda Tyatyantsi, Bruno Rancatia, Asanda Mbizeni
Council for Scientific and Industrial Research, 627 Meyring Naude Road, Pretoria, 0001, South Africa
ABSTRACT
Road distresses, such as potholes and edge cracks, are not only a source of frustration to drivers but also negatively impact the economy due to damage to motor vehicles and costly ro6ad repairs. Regular and rapid pavement inspection and maintenance is vital to preventing pothole formation and growth. To improve the efficiency of maintenance and reduce the cost thereof, the Visual Surveying Platform (VSP) is being developed that will automatically detect and analyse road distresses. The VSP consists of a vehicle mounted sensor system, consisting of a high speed camera and a Global Positioning System (GPS) receiver, and an analysis and visualization software suite. The system extracts both a visual image and the coordinates of a detected road defect from recorded video and presents it in an interactive interface for use by technical experts and maintenance schedulers.
The VSP automatically detects and classifies road distresses using a two-stage artificial neural network framework.Video frames first undergo hue, saturation and value (HSV) colour space conversion as well as a spatial frequency transformation before being used as inputs to the neural networks. A road detector neural network first classifies which section of the image contains the road, after which a distress detector neural network identifies those road regions containing defects. Although the VSP can be adapted to detect any type of road distress it has been trained to specifically detect potholes. An initial prototype of the VSP was designed and constructed. The prototype was also trained and tested on real-world data collected from provincial roads.
Keywords: Image processing, road maintenance, sensor systems, neural networks, operations support
1 INTRODUCTION
The deterioration of road infrastructure has a severe negative impact on the economy, motorists and the environment.Deteriorated roads can lead to increased costs in logistics in the form of higher vehicle maintenance intervals, expensive repairs, increased fuel consumption, damaged cargo and delays. The increased operating costs are often transferred to the consumer. Individual motorists also experience damage to vehicles, delays and more importantly the risk to safety from poor road conditions.
It has been found that delays in repairing roads greatly increase the cost of the repairs since road defects become more severe in the interim. In order to effectively make decisions regarding road maintenance schedules and budgets it is important to have current and accurate information about the state of the road infrastructure. Current methods of gathering information of the road infrastructure are time consuming or costly or both.
Inspections are often performed by workers walking along streets and making records of defects along with their locations1. The information gathered manually is then put into a database. An alternative method is to use specialized vehicles that measure the road surface. These vehicles are often costly and municipalities are usually not able to buy many of these vehicles thus limiting the coverage.
The aim of developing the Visual Surveying Platform (VSP) was to develop an automated, cost effective solution to the problem of detecting defects in the road infrastructure. The system consists of an integration of video and Global Positioning System (GPS) data along with an automated analysis module that uses image processing and machine learning algorithms. The detections produced by the automated analysis module can also be validated by an operator. In a typical use case the VSP system is attached to a vehicle which drives the inspection route at speeds of up to 60km/h.The data gathered is analysed offline and results are stored in a database for visualization and decision support. The information gathering process is thus simplified and relatively quick. The relatively low cost of the system allows more systems to be deployed which in turn allows an increase in the coverage.
The geo-tagged video data is general enough to allow for the detection of a wide range of road defects such as potholes, cracks, poor road markings and damaged road signs. As a first module the research focused specifically on the detection and analysis of potholes.
Section 2 gives an overview of the system and its components. Section 3 discusses the implementation of the analysis module and details the algorithms used. Section 4 presents the results obtained from field testing and current and future developments are described in Section 5. Conclusions are given in Section 6.
1.1 Literature Study
Effective road inspection programs reduce the expense of road maintenance by providing timely and accurate information on the state of roads, highlighting regions that require preventative repairs before major and costly failures can occur. Existing inspection programs are often dependent on the manual evaluation of road surfaces, which can be an arduous and time-intensive task. Automated inspections systems, used as part of an inspection program, can improve road maintenance by providing more in-depth and accurate information on surface properties and distresses at a faster
rate than manual methods. Road surface properties that have been automatically measured include rut depths2, 3 and road roughness4. Detection of road surface distresses, such as cracks2 and potholes5, 6, not only provide an indication on the
structural stability of a road but can also prevent potential damage to vehicles.
System
剩余内容已隐藏，支付完成后下载完整资料
基于视觉的路面坑槽检测方法研究
摘 要
路面病害，如坑洼和裂缝的边缘，不仅是驱使挫折的来源，而且由于损坏的机动车辆和昂贵的公路维修对经济产生消极的影响。定期和快速的路面检查和保养是防止坑洞的形成和增长的关键。为了改善维护效率及降低其成本，视觉测量平台（VSP）正在开发，将自动检测并分析路面的病害。VSP由一个车载传感器系统组成，包括一个高速相机和中全球定位系统（GPS）接收器，以及一个分析和可视化软件套件。系统提取既是视觉形象和检测到的缺陷的道路，从录像的坐标，把它放置在交互界面供技术专家和维修调度使用。
VSP可以自动检测和分类道路病害使用一个两阶段的人工神经网络结构。视频帧首先经过色调，饱和度和值（HSV）色彩空间转换,同时空间频率之前被作为神经网络的输入变换。 一条道路检测神经网络分类首先包含图像道路部分，其次用遇险检测器神经网络标志那些道路缺陷区域。虽然VSP可以适用于检测任何类型的道路遇险它已经被训练来专门检测坑洼。VSP的初始原型被设计和建造。也对来自省道的真实数据集进行训练和测试。
关键词：图像处理，道路维修，传感器系统，神经网络操作支持
1介绍
公路基础设施的恶化对经济，驾车人士和环境有严重的负面影响。恶化的道路导致物流成本以更高的车辆保养间隔，昂贵维修的形式增加，油耗增加、货物的损坏及延误。经营成本增加往往转移到消费者。个别驾驶者也体验到车辆的损坏、延迟和更重要的路况不佳的风险。
研究发现大量维修道路的延迟大大地增加了修理费用，因为道路损在此期期间更加严重。为了有效地制作有关道路维修计划和预算的计划，了解关于目前准确道路状态信息是非常重要的。收集目前公路基础设施的资料是费时且昂贵的。
检查通常由工人沿着街道走，记录他们沿线的缺陷。收集的信息，手动放入一个数据库。一种方法是使用专门测量路面的车辆。这些车辆往往成本高昂，市政当局通常不能买很多这些车辆，从而限制了覆盖面。
发展视觉测量平台（VSP）的目的是开发一种自动化的、符合成本效益的解决方案，检测公路基础设施存在的缺陷问题。该系统包括视频和全球一体化定位系统（GPS）数据以及使用图像处理和机器自动化的分析模块。检测由自动的分析模块也可以由操作员进行验证。在VSP系统的典型用例连接到驱动器检查路线达60 km/h的速度的车辆。收集到的数据进行了离线分析，结果被存储在用于可视化和决策支持的数据库。因此，信息收集过程是简单快速的。成本相对较低的系统允许更多系统被部署，从而增加了覆盖范围。
地理标记视频数据一般足以允许大范围的道路的缺陷的检测诸如坑洼，裂缝，恶劣的道路标记和损坏的路牌。第一模块作为研究的重点具体 对凹坑进行检测和分析。
章节2给出了系统及其组件的概述。第3节讨论分析模块和所使用的算法的实施。第四节给获得从实地测试的结果，第5节描述了现在和未来的发展情况。第6条给出了结论。
1.1文学研究
有效的道路检测程序通过提供及时准确的道路状况信息降低了公路养护费用，在主要的和昂贵的故障发生前突出需要预防维修的地区。现有的检验程序通常依赖于路面的人工评价，是一个艰苦和耗时的任务。自动检查系统，用来检查程序的一部分，可以通过提供更深入和准确的信息，以比手工方法更快的道路维修速度改善路面维修表面性质和祸患。路面性能已经自动测量包括车辙深度的和路粗糙度。路面检测病害，如裂缝和坑槽，不仅提供了一个结构稳定性的道路的指示，还可以防止车辆的潜在危害。
自动化的道路检测系统通常包括一辆配备GPS（来记录检测到的缺陷和扫描道路的位置）和大量的附加传感器（从路面收集数据）。激光扫描仪经常使用，因为这种装置在高分辨率产生准确的数据。2-D的激光扫描仪常用，三维扫描可以使用两个自动同步激光扫描仪结合或使用基于激光光学传感器的集合。结构光传感器也在连续扫描通过摄像头和线投射激光相结合形成路面三维时被使用。另外，探地雷达（GPR），可以用来获得亚表面结构的数据，也可以用于道路检查系统。一般情况下，激光扫描仪以及探地雷达都是非常昂贵的设备，禁止路面检测系统的使用依赖于这种较小和资金不充裕的道路设备维修。
代替使用专门的检查车辆，可以收集来自已经使用的车辆和道路用户的信息和处理来推断一条路的状态。对于这样一个已经发展的系统概念框架，来自不同的车辆的传感器数据进行处理，自动检测坑洞并向附近的来往司机提供一条警告。 建议结构光传感器可以轻松地靠近公共车辆，已经在主要的道路上行驶的公共汽车和出租车。收集和处理来自车辆和智能手机的加速度计数据来推断坑洞的位置。道路维修程序可以受益于这种额外的数据，但仍然需要专用检查车辆来获取路面上的计划、可核查和控制信息。
为了降低自动检测系统的成果，摄像机可以用作一种表面缺陷检测传感器。相机有被用来检测和分类多种类型的裂缝和坑，视觉传感器不仅相对便宜，而且快速产生大量的数据。但是，所生成的数据必须密集地使用先进的算法，获取有用信息进行处理。偏微分方程应用在视觉上的分割和隔离不良区，而纹理滤波器分析用来验证坑洞检测。
机器学习算法，例如支持向量机和神经网络，还用于创建分类系统用来检测路面表面。虽然基于神经网络的系统有很多相似之处，但是在如何使用各项产出和尤其是如何处理对网络的投入配置方式上经常有显著的差异。先前检测到不良像素统计特征分组已作为输入图像，同时在输入之前也减少到二裂瓦交涉。
2 VSP概述
在图1中的图显示了视觉测量平台来检测和修复坑洞关键零部件的步骤和顺序。
图片1 VSP探测与修复坑的用例
传感器系统是连接到一辆待检查的正在道路上行驶的车上。传感器捕捉视频数据，同步GPS数据。捕获到的行驶的数据上的数据上传到运行的计算机VSP分析和可视化房（AVS）。自主分析的资料和检测都存储在数据库。AVS允许用户检查坑洞，进行核实并为维修人创建作业卡的作业卡然后给修理人员来指导维修。以下小节描述主要模块的进一步细节。
2.1传感器系统
传感器系统附加到一辆车，并捕获同步的视频和检验路线的GPS数据。车辆的行驶速度可达每小时60公里。
系统里的关键传感器是带有高帧速率和GPS装置的高清(720p)相机。高帧频率对于避免运动模糊效果是必需的。运动模糊在每个视频框架中转化成降低的空间频率，由于空间频率在检测坑洞和裂缝中的是关键属性，所以需要尽量减少运动模糊效果。
相机有广角镜头来获得大范围的视野。这将允许病害的检测在两条行车线上。图2(a)展示了建立的第一个原型图像，和图2(b)展示的是第二个构建更近一些的原型图像。两个原型的主要区别是第二个原型使用的是单个相机而原型一使用立体摄像系统，前者有车载计算机和外围设备通信作为移动传感器系统的一部分。
原型一用立体视觉宽基线双摄像系统估计检测到坑洞的大小。由于缺乏独特的相应功能，发现两个摄像机图像之间是不准确的。另外，致力于利用单标定摄像机的单应矩阵也进行了研究，同时发现了更多的检测到的坑洼的侧向尺寸的一致性估计。然而，这种方法不允许深的坑洞，但是是很多典型案例的精确推理。
图2 (a)多实例原型1 (b)原型机2
这两架原型机使用车辆电池作为主要动力源,并且使用一个板载备用电池来确保操作过程中最少的数据丢失。
安装系统包括机械阻尼以减少震动的行进期间的负面影响。虽然系统未指定在多雨的天气里操作，原型2设计具有一定的水打样防止万一下雨对系统检测的损害。
2.2分析模块
虽然分析和可视化套件（AVS）通常不显示帧的分析，作为示范版本的分析坑洞的框架视频截图如图3所示。
图3 分析显示检测到矩形右下角的坑的屏幕截图
AVS允许用户下载捕获由传感器系统进行分析的数据。分析模块由两个神经网络分类器级联反应组成。第一分类器从视频帧中提取道路，道路数据传递到第二个尝试检测凹坑内的道路数据分类器。神经网络分类器在第3节中详细介绍了。
图4显示了处理数据路径图。
图4 处理数据路径使用一连串的神经网络分类器
关于神经网络的文件，GPS数据和视频文件的位置用户指定的参数初始化之后，数据文件被加载同时在录影带里同步每个帧程序。
在下一个道路分类器运行，并对应于该道路的修补用基于填充算法的凸包相结合。其结果是仅包含道路即没有天空连接的组件，路边等。第二个分类器对路面情况分类，以便在道路数据中发现坑洼。坑洼使用轮廓检测和连接组件分割，以确定每个坑洼周围的边界框。这个算法实现了单应性，然后对每一个坑洼检测，以确定坑洞横向尺寸。各坑洼检测用GPS位置和尺寸封装，并添加到数据库中。该检测是通过一系列的后滤波算法运行的。第一个后置滤波器经过检测，删除当一个坑洼在视频中被多帧检测而发生的重复检测。这是通过使用一个度量，以确定一系列检测是否形成连续或不连续的序列来实现的。接下来的后置滤波器通过检测并删除当沙子或碎片补丁被错误地归类为坑洼发生的误报。用一个基于直方图的算法来消除这些误报。
2.3 可视化和操作支持模块
被添加到数据库中的检测可以从AVS内观察。图5显示了主屏幕的可视化的屏幕截图。在数据库中的检测可以通过时间进行过滤。
检测以标记的形式显示在地图上。标签的颜色给检测提供确定快速可视的线索。用户可以选择标签和查看图像，以及检测到的坑洼的尺寸。
通过相同的图形用户界面（GUI），用户可以确认一个检测通过选择它是否是一个坑洼或没有。坑洞检测具有低确定性的措施被标记（通过颜色）以便用户验证。如果用户手动标记的检测作为一个假阳性，然后从该集合中在数据库有效检测的除去。
每个检测可以被选择以便包含在一个上岗证。然后，系统在相同的工作卡绘制一条线路集成所有坑洼。该软件还可以在上岗证所选择的路线上进行各种计算。根据距离，巡视时间和维修所需的材料量估计。
线路和从第一个到第二个洼坑方向的维修信息可以被印刷在一个便携的文档中，并交给维修人员。
图5 可视化屏幕
3 网络实现
VSP软件的视频帧通过系统内网络图像块的分类可以确定路面OpenCV机器学习库被用于训练和运作神经网络，运用它所提供的方法可定制基本的路表网络，形成VSP路异常检测系统。
3.1 网络实现
分析模块形成了AVS部分，用视频检测到路面坑洞。它的实现是通过两种神经网络分类器对每一帧的连续运用。第一个分类器检测和提取的，第二个分类器用道路数据检测坑洼。这些分类是根据二进制分类器来划分的。
坑槽是不规则的，非结构化的，很难直接定义。因此，为了路面坑洼开发一个特征提取器是具有挑战性的。坑洞定义的一种方法是作为不连续性道路但以一个统一的结构。这暗示了背景建模是有用的，作为对这样的问题一级检测。然而许多有效的道路也出现不连续性。为了解决这个问题，就需要用到关键图像的性质，而在所有的图像中常见的，也是坑坑洼洼的图像的重要性质。
在审查各种示例图像后，就决定使用从色彩的色相和饱和度通道收集到的信息，饱和度和值（HSV）颜色空间与空间频率。有人怀疑从这些图像属性互相结合的信息会让坑洼特征分割。这取决于以图像的形式仔细创建数据库和过滤每个提取的色度，饱和度和频率信息。转换后的图像，然后送入一系列二进制神经网络允许适当的特征和关系的自动推导。正是以这种方式训练的二进制神经网络进行结合，首先创建一个分类器进行道路检测和另一个分类器的路面检测。
在这种方法的总体思路是确定图像基本属性包含识别感兴趣的对象的信息，使神经网络通过精心挑选的实例训练获得适当的特征。
每个分类中的二进制神经网络可以不共享数据,一旦有转换的图像操作。利用这一独立的神经网络，采用多线程并发运行，如图6所示为提高分类器的处理速度。
图6 随着神经网络分类器实现流程图线程操作
3.2培训程序
训练过程是有监督的学习过程，大部分的过程数据包括手工制备和标签数据。训练过程中的一般流程如图7所示。
图7神经网络的训练程序流程图
从传感器系统捕获的视频数据被分割，根据物体特征被分成各框架。道路分类器集合框架通常包括道路清洁部分以及部分包含的细节，如修复补丁和阴影，使分类器得到训练和处理。一个坑洞分类器的框架将包括为坑洼，有很多例子。因为路分类器和坑洞分类数据收集和编写独立。坑洼根据图像是否是道路数据或不为道路分类以及他们是否有坑洼的数据或没有坑洼的分类，进行手动选择。
这些积极的和消极的块为每个类进行提取和过滤，提取图像的基本属性即色相，饱和度和空间频率。它们被用在神经网络的背景训练上。
4 结果
对一个设计的VSP系统原型构建和进行初始测试来确定车辆的生存能力。神经网络分类器的检测精度由及完整的软件分析系统来评价。
VSP的原型是附在比勒陀利亚选定的道路车辆和记录的视频，和在豪登省米德兰的GPS数据。从道路收集的数据受限于没有或有限次公共道路铺的因为这些都最有可能形成坑槽。收集到的数据上传到软件应用对视频进行分析。检测到的坑洼被上传到数据库作为可视化地图的辅助评价。
收集到的数据，如3.2节中描述的处理，分为三个亚群：训练集，这由50%所收集的数据，验证集和测试集组成，后者包括25%的收集的数据。表1显示了道路坑洼分类器测试的精度。
表1。这条路和坑洼的神经网络分类器初始原型测试期间收集的数据训练后测试子集的准确性。
完整的系统的检测精度，
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[505920]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
