A survey on vision-based UAV navigation
Yuncheng Lu, Zhucun Xue, Gui-Song Xia amp; Liangpei Zhang
To cite this article: Yuncheng Lu, Zhucun Xue, Gui-Song Xia amp; Liangpei Zhang (2018) A survey on vision-based UAV navigation, Geo-spatial Information Science, 21:1, 21-32, DOI: 10.1080/10095020.2017.1420509
To link to this article: https://doi.org/10.1080/10095020.2017.1420509
ABSTRACT
Research on unmanned aerial vehicles (UAV) has been increasingly popular in the past decades, and UAVs have been widely used in industrial inspection, remote sensing for mapping amp; surveying, rescuing, and so on. Nevertheless, the limited autonomous navigation capability severely hampers the application of UAVs in complex environments, such as GPS-denied areas. Previously, researchers mainly focused on the use of laser or radar sensors for UAV navigation. With the rapid development of computer vision, vision-based methods, which utilize cheaper and more flexible visual sensors, have shown great advantages in the field of UAV navigation. The purpose of this article is to present a comprehensive literature review of the vision-based methods for UAV navigation. Specifically on visual localization and mapping, obstacle avoidance and path planning, which compose the essential parts of visual navigation. Furthermore, throughout this article, we will have an insight into the prospect of the UAV navigation and the challenges to be faced.
1. Introduction
An unmanned aerial vehicle (UAV) is an aircraft which can fly without a human pilot aboard. Nowadays, more and more UAVs are recruited for civilian applications because of its high mobility and flexibility. However, in some complex environments, the UAV cannot precisely perceive the surrounding environment and act properly due to the limitations of communication and perception ability of traditional sensors. Although a lot of effort has been spent on overcoming these weaknesses, a more efficient and effective method still needs to be developed. Therefore, the high-performance autonomous naviga-tion capability is of great significance for the develop-ment and application of UAVs.
1.1. UAV navigation
UAV navigation can be seen as a process that robots make a plan on how to safely and quickly reach the tar-get location, which mostly relies on current environ-ment and location. In order to successfully complete the scheduled mission, a UAV must be fully aware of its states, including location, navigation speed, heading direction as well as starting point and target location. To date, various navigation methods have been proposed and they can be mainly divided into three categories: inertial navigation, satellite navigation, and vision-based navigation. Nevertheless, none of these methods is perfect; therefore, it is crucial to adopt an appropriate one for UAV navigation according to the specific task. The vision-based navigation proves to be a primary and promising research direction of autonomous navigation with the rapid development of computer vision. First, the visual sensors can provide abundant online information of the surroundings; second, visual sensors are highly appropriate for perception of dynamic environment because of their remarkable anti-interference ability; third, most of visual sensors are passive sensors, which also prevent the sensing system from being detected. Europe and the United States have already established research institutions, such as NASA Johnson Space Centers (Herwitz et al. 2004). MIT (Langelaan and Roy 2009), University of Pennsylvania (How et al. 2008) and many other top universities are also vigorously develop-ing research on vision-based UAV navigation and have incorporated this technology into next generation air transport systems, such as NextGen (Strohmeier et al. 2014) and SESAR (Hrabar 2008).
The complete illustration of vision-based UAV navi-gation is shown as Figure 1.
With inputs from exteroceptive and proprioceptive sensors, after internal processing of localization and mapping, obstacle avoidance and path planning, the navigation system will finally output continuous control to drive the UAV to the target location.
Figure 1. Vision-based UAV navigation.
2. Visual localization and mapping
Considering the environment and prior information used in navigation, visual localization, and mapping systems can be roughly classified into three categories: mapless system, map-based system, and map-building system (Desouza and Kak 2002) (Figure 3).
2.1. Mapless system
Mapless system performs navigation without a known map, and UAVs navigate only by extracting distinct features in the environment that has been observed. Currently, the most commonly used methods in maplessystem are optical flow methods and feature tracking methods.
Generally, we can divide the optical flow techniques into two categories: global methods (Horn and Schunck 1981) and local methods (Lucas and Kanade 1981). As early as 1993, Santos-Victor et al. (1993) invented a method imitating the beersquo;s flight behavior by estimating the object movement through cameras on both sides of a robot. First, it calculates the optical velocity of two cam-eras relative to the wall, respectively. If they are same, the robot moves along the central line; otherwise, the robot moves along the speed of small places forward. However, it is prone to have a poor performance when navigating in texture-less environment. Since then, we have wit-nessed great development of optical flow approaches and also made several breakthroughs in detection and tracking fields. Recently, a novel approach has been pro-posed for scene change detection and description usi
剩余内容已隐藏，支付完成后下载完整资料
基于视觉的无人机导航研究综述
卢运城，薛珠村，夏桂松，张良培
引用本文:卢运城，薛珠村，夏桂松，张良培(2018)基于视觉的无人机导航研究综述，地理空间信息科学，21:1,21-32,DOI: 10.1080/10095020.2017.1420509
文章链接：https://doi.org/10.1080/10095020.2017.1420509
摘要：
近几十年来，无人机研究日益普及，在工业检测、测绘遥感、救援等领域得到了广泛应用。然而，有限的自主导航能力严重阻碍了无人机在复杂环境中的应用，比如没有gps的地区。以前，研究人员主要集中在激光或雷达传感器用于无人机导航。随着计算机视觉的飞速发展，基于视觉的方法，利用更便宜、更灵活的视觉传感器，在无人机导航领域显示出巨大的优势。本文的目的是对基于视觉的无人机导航方法进行全面的文献综述。具体包括视觉定位和地图绘制、避障和路径规划，它们是视觉导航的重要组成部分。此外，通过本文，我们将深入了解无人机导航的前景和面临的挑战。
- 介绍
无人机(UAV)是一种无人驾驶飞机。目前，越来越多的无人机因其高机动性和灵活性而被应用于民用领域。然而，在一些复杂的环境中，由于传统传感器的通信和感知能力的限制，使得无人机无法准确地感知周围环境并正常工作。虽然在克服这些弱点方面已经花费了许多努力，但仍需要发展一种更有效的方法。因此，高性能的自主导航能力对无人机的发展和应用具有重要意义。
1.1 无人机导航
无人机导航可以看作是机器人对如何安全、快速地到达目标位置进行规划的过程，它主要依赖于当前的环境和位置。为了成功地完成预定的任务，无人机必须充分了解其状态，包括位置、导航速度、航向方向以及起始点和目标位置。迄今为止，人们提出了各种导航方法，主要分为三大类:惯性导航、卫星导航和基于视觉的导航。然而，这些方法都不是完美的;因此，针对无人机的具体任务，选择一种合适的导航系统至关重要。随着计算机视觉技术的飞速发展，基于视觉的导航技术已成为自主导航技术的一个重要的研究方向。首先，视觉传感器可以提供丰富的环境在线信息;其次，视觉传感器具有良好的抗干扰能力，非常适合动态环境感知;第三，大多数视觉传感器是被动传感器，这也阻止了传感系统被检测到。欧洲和美国已经建立了研究机构，如NASA约翰逊航天中心(Herwitz et al. 2004)。麻省理工学院(Langelaan和Roy 2009)、宾夕法尼亚大学(How et al. 2008)和许多其他顶级大学也在大力发展基于视觉的无人机导航研究，并将这项技术纳入下一代航空运输系统，如NextGen (Strohmeier et al. 2014)和SESAR (Hrabar 2008)。
基于视觉的无人机导航的完整示意图如图1所示。
从外、本体感受传感器输入，经过内部定位、映射、避障、路径规划等处理，最终输出连续控制，驱动无人机到达目标位置。
图1所示.建立无人机导航.
- 视觉定位与制图
考虑到导航、视觉定位和地图系统中使用的环境和先验信息，可以大致分为三类:mapless system、map-based system和map-building system (Desouza和Kak 2002)(图3)。
2.1. Mapless system
Mapless系统可以在没有已知地图的情况下进行导航，而uav只能在观察到的环境中通过提取不同的特征进行导航。目前，枫叶最常用的方法系统分为光流方法和特征跟踪方法。
通常，我们可以将光流技术分为两类:全局方法(Horn和Schunck 1981)和局部方法(Lucas和Kanade 1981)。早在1993年，Santos-Victor等人(1993)就发明了一种模仿蜜蜂飞行行为的方法，通过机器人两侧的摄像头来估计物体的运动。首先，分别计算了两个凸轮代相对于壁面的速度。如果它们相同，机器人沿着中心线移动;否则，机器人就会沿着小地方的速度向前移动。但是，在没有文本的环境中导航时，它的性能很差。自那以后，我们在光流方法方面取得了很大的发展，在探测和跟踪领域也取得了一些突破。最近，提出了一种利用光流进行场景变化检测和描述的新方法(Nourani-Vatani et al. 2014)。此外，通过将惯性测量单元(IMU)与光流测量相结合(Herisse等，2012年)，研究人员实现了在移动平台上的悬停飞行和着陆机动。密集的光流计算，甚至可以检测所有运动物体的运动(Maier和Humenberger 2013)，这在高水平的任务中起着重要的作用，如监视和跟踪拍摄。
特征跟踪方法已成为一种鲁棒的、标准的定位和映射方法。它主要跟踪移动元素的不变特征，包括线、角等，并通过检测序列图像中的特征及其相对移动来确定对象的移动(Cho等，2013年)。在机器人导航的过程中，以前在环境中观察到的不变的特征可能会在不同的角度、距离和光照条件下被重新观察到(Szenher 2008)。它们非常适合航行。传统上，用于定位和制图的自然特征不够密集，无法避免障碍。Li and Yang(2003)提出了一种行为导航方法，将鲁棒视觉地标识别系统与基于模糊的避障系统相结合进行避障。
图3.视觉定位和绘图系统.
2.2. Map-based system
基于地图的系统预先定义了地图环境的空间布局，使无人机具有绕行行为和运动规划能力。通常，有两种类型的映射:八叉树映射和占用网格映射。不同类型的地图可能包含不同程度的细节，从完整环境的3D模型到环境元素的互连。
Fournier, Ricard, and Laurendeau(2007)使用3D容积传感器，利用自主机器人平台有效地绘制和探索城市环境。利用多分辨率八叉树建立环境的三维模型。Hornung等人(2013)开发了一个用于表示3D环境模型的开源框架。这里的主要思想是用八叉树来表示模型，不仅是已占用的空间，而且是自由的未知空间。此外，使用八叉树映射压缩方法对三维模型进行压缩，使系统能够有效地存储和更新三维模型。
Gutmann、Fukuchi和Fujita(2008)使用立体视觉传感器来收集和处理数据，然后可以用来生成3D环境地图。该方法的核心是扩展扫描线分组法，将距离数据精确分割成平面段，有效地处理了深度估计时立体视觉算法产生的数据噪声。Dryanovski、Morris和Xiao(2010)使用了一个多容积的占用网格来表示3D环境，该网格明确地存储了关于障碍物和自由空间的信息。它还允许我们通过增量过滤和融合新的正或负传感器信息来纠正以前潜在的错误传感器读数。
2.3. Map-building system
有时，由于环境的限制，很难使用预先存在的准确的环境地图导航。此外，在一些紧急情况下(如救灾)，提前获得目标地区的地图是不切实际的。因此，在这种情况下，在飞行的同时建立地图将是一个更有吸引力和更有效的解决方案。
地图构建系统已广泛应用于自治和半自治领域，并随着可视化同步定位和绘图(visual and mapping, visual SLAM)技术的快速发展而越来越受欢迎(Strasdat, Montiel, Davison 2012;Aulinas等人，2008)。现在，无人机比以前小得多，这在一定程度上限制了它们的有效载荷能力。因此，相对于传统的复杂激光雷达和声纳等，研究人员对简单(正弦和多重)相机的使用越来越感兴趣。
最早尝试使用单摄像机构建地图技术的是斯坦福大学的CART机器人(Moravec 1983)。在此基础上，提出了一种基于兴趣算子的图像三维坐标检测算法。该系统基本上是将物体的三维坐标存储在一个有2米网格的网格上。虽然该技术可以对环境中的障碍进行重建，但仍无法对大规模的世界环境进行建模。
之后,同时recover-ing带来了相机和目标下的结构环境,SLAM算法,建立基于相机,取得了相当大的进展,并推导出三种类型的方法:间接法,直接法,混合法,根据其视觉传感器图像处理的方法。
-
-
- 间接法
-
间接方法不是直接使用图像，而是首先从图像中检测和提取特征，然后将其作为运动估计和定位过程的输入。通常情况下，功能应该是不变的旋转和观点的变化，以及鲁棒的运动模糊和噪声。在过去的三十年中，对特征检测和描述进行了全面的研究，出现了各种类型的特征检测器和描述符(Li和Allinson 2008;
Tuytelaars和Mikolajczyk 2008)。因此，目前的SLAM算法大多是基于特征的框架。
Davison(2003)提出了一种自顶向下的贝叶斯单相机定位框架，通过映射稀疏的自然特征集实现了相机的实时定位。这是单目视觉SLAM的一个里程碑，对未来的工作有很大的影响。Klein和Murray(2007)提出了一种并行跟踪和映射算法，这是第一个将SLAM系统分成两个并行独立线程的算法:跟踪和映射-ping。这几乎已经成为现代基于功能的SLAM系统的标准。Mahon等人(2008)提出了一种大规模导航的新方法。视觉闭环检测被用来修正轨迹漂移，这在长期和大规模的环境中是很常见的。Celik等人(2009)提出了一种基于视觉slam的室内环境导航系统，该系统的布局是未知的，没有GPS的帮助。无人机只配备一个摄像头来估计状态和距离。导航策略的核心是通过基于能量的特征点和直的架构线来表示环境。Harmat、Trentini和Sharf(2015)提出了一种基于多相机并行跟踪和映射(PTAM)的多相机视觉姿态估计系统(Klein和Murray 2007)。该算法结合了多个摄像机的自我运动估计，并行化了姿态估计和映射模块。作者还提出了一种新的非重叠视场相机外部参数标定方法。
然而，大多数的间接方法只能从图像中提取出不同的特征点，而这些特征点最多只能重构出一组特定的点(传统上是相关点)。我们称这种方法为稀疏间接法，它只能重建一个稀疏的场景图。因此，目前，研究人员一直期待着能够重建密集地图的间接密集方法。Valgaerts等人(2012)使用基于稠密能量的方法来估计基本矩阵并从中找到稠密对应。Ranftl等人(2016)利用分段光流场，从连续两帧中生成了密集深度图，这意味着通过优化凸程序，可以在该框架下密集重建场景。
2.3.2 直接法
虽然间接方法在常规环境中表现良好，但在无文本环境中容易陷入困境。因此，直接法也成为近十年来的一个热点。与间接方法不同，直接方法利用图像中的所有强度信息优化几何参数，对图像中的光度和几何畸变具有鲁棒性。除此之外，直接方法通常会找到密集的对应，因此它可以在额外的计算成本下重建一个密集的地图。
Silveira, Malis, and Rives(2008)提出了一种新的相机姿态和场景结构估计方法。该方法直接利用图像强度作为观测值，充分利用图像中的所有信息，在特征点较少的环境中比间接方法具有更强的鲁棒性。纽科姆、洛夫格罗夫和戴维森(2011)提出了一个实时单目重击算法，DTAM，该算法还使用直接方法估计相机的6自由度运动。通过对整幅图像的配准进行帧评级，利用当前常用的GPU硬件，根据估计的纹理深度深度图，以帧速率生成密集的表面。Engel、Schops和Cremers(2014)采用了一种有效的概率直接方法来估计半密度地图，然后将其用于图像对齐。LSD SLAM (Engel, Schops, Cremers 2014)不同于没有尺度的参数优化方法，LSD SLAM (Engel, Schops, Cremers 2014)对Sim(3)使用位姿图优化(Kummerle et al. 2011)，该方法明确考虑了尺度因子，允许实时进行尺度漂移校正和环路闭合检测。
2.3.3 混合法
混合法将直接法和间接法结合起来。该方法首先利用间接方法初始化特征对应，然后通过直接方法不断改进相机姿态，提高了速度和精度。
Forster、Pizzoli和Scaramuzza(2014)创新性地提出了一种半直接算法SVO来估计无人机的状态。与PTAM类似，运动估计和点云映射是在两个线程中实现的。对于运动估计，直接利用像素的亮度和梯度信息，结合特征点的对齐和重投影误差的最小化，可以得到更准确的运动估计。随后，Forster等(2015)针对无人机进行了实时三维重建和着陆点检测的高效计算系统，其中仅使用智能手机处理器作为处理单元。与PTAM不同的是，为了实现实时性能，SVO需要运行高帧速率的摄像机。它主要用于计算资源有限的机载应用。
- 障碍探测与避障
避障是自动导航系统中不可缺少的一个模块，它可以检测和提供附近障碍物的基本信息，减少碰撞风险和驾驶员操作失误。因此，它可以大大提高无人机的自主性。
避障的基本原理是探测障碍物并计算出飞行器与障碍物之间的距离。当障碍物越近时，无人机应在避障模块的指令下进行避障或掉头。解决方案之一是使用测距仪测量距离，如雷达、超声波
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[253922]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
