英语原文共 8 页，剩余内容已隐藏，支付完成后下载完整资料
空中机器人单目视觉惯性估计的鲁棒初始化
All authors are with the Department of Electronic and Computer Engineering, Hong Kong University of Science and Technology, Hong Kong, China. tong.qin@connect.ust.hk, eeshaojie@ust.hk This work was supported by the Hong Kong Research Grants Council, Early Career Scheme, project no. 26201616.
摘要:本文提出了一种鲁棒的动态估计器初始化算法，为单目视觉惯性系统(VINS)提供高质量的初始状态。由于文档导航系统的非线性，不良的初始化会严重影响基于滤波和基于图的方法的性能。我们的方法从运动的视觉结构(SfM)开始，建立一个尺度结构的摄像机姿态和特征的位置。通过将这种结构与预集成IMU测量结果松散地结合起来，我们的方法恢复了度量尺度、速度、重力矢量和陀螺偏置，这些作为初始值来引导非线性紧耦合优化框架。我们强调，我们的方法可以在不同的场景中执行动态初始化，而不需要使用任何关于系统状态和移动的事先信息。通过公共无人机数据集和实时机载实验验证了该方法的性能。我们把我们的工作结果开放源码，这是整合在VINS-Mono1中的初始化部分。
源码网址：https://github.com/HKUST-Aerial-Robotics/VINS-Mono
1 介绍
目前，视觉-惯性融合技术是机器人领域的一个研究热点。精确的状态估计在航空图形、自动驾驶、交通运输、监视和救援等广泛的应用中是必需的。传统的纯视觉算法，如[1]-[5]，可以估计姿态和构造环境的结构。然而，由于单个摄像机不能恢复比例尺，这些算法不能直接应用于实际应用，尤其是自主导航。通常，在基于视觉的算法中，惯性导航系统被当作互补传感器来处理。通过融合惯性测量装置的公制测量，可以完全恢复标度，以及滚转角和俯仰角。此外，IMU测量可以辅助视觉跟踪由于光照变化、无纹理区域和侵略性运动引起的运动模糊造成的丢失。在IMU的帮助下，性能得到了显著的提高。一个摄像头和一个低成本的IMU构成了最小的传感器集，提供了足够的自我和环境意识，这可以很容易地在任何智能平台上得到。
由于视觉惯性系统的非线性，单目估计器[6,8,12]-[15]的性能严重依赖于初始值(重力、速度、偏差和特征深度)的准确性。不良的初始化会降低收敛速度，甚至导致完全错误的估计。
Fig. 1. (a) The main structure of our initialization procedure. (b) The selfdeveloped quadrotor with one forward-looking camera which is used in the indoor closed-loop experiment.
图1. (a)我们初始化程序的主要结构。(b)自行研制的带前视摄像机的四旋翼飞行器，用于室内闭环实验。
特别是对于具有全六自由度的空中机器人来说，准确的初始值是至关重要的。然而，单目视觉惯性系统很难获得准确的初始状态。一方面，单目照相机无法获得公制刻度;。另一方面，非零加速度运动需要初始化公制的规模。这将导致未知的初始姿态(重力矢量)和速度。特别是在有时限的搜索和救援任务中，需要使微型飞行器静止不动或沿着某种模式移动，仔细地初始化往往是不可行的。最好在没有任何动力学先验信息的情况下快速发射微型飞行器并初始化估计器。另外，视觉算法在快速运动或强光照变化时较为脆弱。当视觉跟踪丢失时，估计器很容易错误。这表明开发机上自动重新初始化是必要的。所有这些问题促使我们寻找一个完善的系统，它能够动态地初始化恢复所有关键状态。
本文提出了一种单目视觉惯性系统动态初始化的方法。在初始化过程中对初始速度、重力矢量、标度以及陀螺仪偏置进行了标定。我们首先执行来自运动的纯视觉结构(SfM)，然后松散地将IMU测量结果与SfM结果对齐以获得公制的初始状态。通过公共数据集和室内外实时板载实验，验证了该方法的有效性。
我们强调，我们的贡献有三个方面:
·一个健全的视觉惯性初始化程序，可为飞行中的空中机器人提供初始状态。
·在系统层面，我们将所提出的方法应用于基于滑动窗口的单目视觉惯性系统中。 进行了机载闭环自主飞行试验。
·面向社区的开源代码。
论文的其余部分结构如下。在第二节，我们讨论了相关的文献。在第三节中进行了关于动机和系统概述的讨论。第四节中，我们提出了方法论。实施细节和实验评价介绍在第五节。最后，在第六节对全文进行总结，得出全文的结论。
2 相关工作
关于视觉惯性状态估计问题，目前已有大量的研究。使用单目或立体摄像机的传统解决方案分为两类，基于滤波的框架[13,15]-[18]和基于图的优化框架[6,8,12,14]。基于过滤的方法在更快的处理方面有优势，因为它不断地边缘化过去的状态。然而，早期的线性化状态可能导致次优的结果。基于图的算法虽然具有迭代重线性化的能力，但通常需要计算量较大。一般来说，一些初始状态(速度、重力方向和IMU偏差)被假定为已知或忽略，或者系统在发射前应保持静止和水平。如果没有先前的信息，大多数方法都不适合动态起飞或动态初始化。
我们早期的工作[7,12]提出了一个线性估计器的初始化方法，利用已知的相对转动从短期陀螺仪积分。这种方法在室内环境中表现良好。然而，在特征深度分布范围很广(例如室外环境)的情况下，由于无法在原始投影公式中对传感器噪声进行建模，这种方法就失败了。此外，我们早期的工作没有考虑到偏见。最近，在[19]中引入了一种封闭形式的解。后来，在[20]中提出了对这种封闭形式解的修正。作者在该方法中加入了陀螺仪偏置标定。然而，原来的公式变成了非线性和非凸形式。在这两篇文章中，作者都没有对不同时间段的惯性积分精度进行建模。随着时间的延长，惯性积分精度的精度明显下降。在[9]中，提出了一种基于SVO[2]的重新初始化和故障恢复算法。在松耦合视觉惯性系统中是一种实用的方法。首先利用惯性测量稳定微型飞行器的姿态，然后发射SVO进行位置反馈。这项工作假定无人驾驶飞机应该在开始时几乎水平举行。另外，另一个距离传感器Tera Ranger用于测量高度。[21]提出了另一种松耦合滤波系统的初始化算法，该算法利用相邻帧之间的光流提取速度和主导地形平面。这种方法在初始化阶段也不需要或很少需要运动，因为初始姿态应该与重力对齐。
纯视觉结构的运动(SfM)技术能够恢复相对旋转和平移到一个未知的比例因子内多个摄像机的姿态[22]。这些方法目前用于MAVs[2,9]的最先进的视觉导航。然而，度量尺度和绝对姿态的不可用性会导致自主飞行的不稳定性。[23]提出了一种计算重力矢量和尺度因子的方法，并为状态估计滤波器提供了初始度量值。该方法是在分析SfM与惯性积分关系的基础上提出的。[24]提出了一种基于单目ORB-SLAM [4]的IMU初始化算法。在给定单目SLAM处理的一组关键帧的情况下，计算了视觉惯性全BA的尺度、重力方向、速度和IMU偏差的初始估计。然而，据报道，规模收敛所需的时间可能超过10秒，这对于需要在开始时估计规模的机器人导航任务来说是不合适的。我们的框架与[24]类似。我们在初始步骤中忽略加速度偏差，以确保快速初始化。我们发现加速度偏差与重力耦合通常缺乏可观测性。关于加速度偏差校准的细节在第四节E部分中进行了讨论。
在IMU测量处理中，通常需要在起始状态发生变化时进行重传。目前，一种有效的解决方法是预积分，它避免了惯性测量单元测量的重复积分。该算法是在文献[25]中首次提出的，它将IMU测量重新参数化为相对运动约束。[8]考虑了这种技术的多方面的不确定性。然而，IMU偏差在他的公式中被忽略了。此外，[26]改进了预积分理论，考虑了流形上的不确定性，并建立了后验偏差校正模型。
3 概览
视觉测量和惯性测量是两种互补的资源。愿景代表了最大规模的全球结构，IMU引入了度量增量信息。单目照相机不能提供大比例尺和速度。为了初始化度量尺度，需要非零加速运动，从而导致初始姿态(重力矢量)和速度未知。因此，我们不能假设估计量从定态开始。更糟糕的是，IMU通常受不可忽略偏见的影响。如果没有一个好的初步预测值，很难将这两个因素直接融合在一起。一个不好的初值将导致估计量发散或陷入局部极小值。为了提高单目视觉惯性系统的成功率，需要一个鲁棒的初始化过程。
单目视觉的SLAM或运动结构 (SfM)比视觉惯性系统更容易初始化。纯视觉系统可以通过八点 [22]、五点 [27]、齐次和基本的方法很容易地实现自举。然后接下来的光束法平差是对结构进行改进。给定一个最大尺度的视觉结构，我们可以将 IMU测量结果对齐到这个结构中，以提取视觉惯性系统的初始值 (重力、速度和偏差 )。 受此启发，我们采用了一个松耦合的可视惯性初始化过程。首先构造纯视觉结构，然后将该结构与 IMU预积对齐，恢复初始值。我们提出的方法的流水线如图 1(a)所示。
4 研究方法
我们从定义符号开始。我们考虑作为世界框架，其中重力矢量方向是沿 z 轴的。 是SfM 中的参考坐标系，是视觉结构中任意固定的坐标系，与惯性测量无关。是相对于世界框架的主干框架。将 IMU 框架视为主干框架，即 IMU 框架与主干框架对齐。是拍摄图像时的主干框架。是相对于视觉参考帧的摄像机帧。是拍摄图像时的相机帧。我们使用 来表示传感器测量值，它可能受到噪声和偏置的影响。我们使用表示SfM 结构中的最大尺度参数。我们使用四元数 q 表示旋转。是两个四元数乘法运算。是世界范围内的重力矢量。是视觉参照系中的重力矢量。
在初始化步骤中，我们假设摄像机的内部标定和摄像机与 IMU 之间的外部标定已知。事实上，我们不需要一个非常精确的外部校准，因为我们在非线性优化上对这点进行细化 (第四节D部分)。
A.前景架构
初始化过程从一个只有视觉的结构开始，这个结构对一个摄像机的最大规模姿态和特征位置图进行预计。我们的方法是基于滑动窗口的方法[8,12]，它维护多个空间分离的图像帧。利用足够的视差来选择相邻的空间帧。在这些帧中提取稀疏特征[29]并跟踪[30]。利用特征对应构造窗口内部的视觉结构。
作为计算机视觉中常用的一种技术，我们首先选择两帧具有足够特征视差的图像。然后用五点法[27]恢复两帧图像的相对旋转和尺度平移。然后我们任意设置尺度和三角测量所有特征观察到这两个帧。基于这些三角形特征，采用n 点透视(PnP)方法估计窗口中其他帧的姿态。最后，应用一个全局光束法平差，最小化所有特征观测值的总重投影误差。在此之后，我们得到所有的框架姿势和特征位置。假设我们有摄像机帧和IMU(机身)帧之间的外部参数的先验性，所有的变量都可以从摄像机帧转换到 IMU 帧，
（1）
S是未知尺度，我们接下来会解决这个问题。
B.IMU预积分
IMU 测量的频率高于目视测量的频率。通常，数十个 IMU 测量存在于两个连续的视觉帧之间。我们在局部框架中预集成这些 IMU 测量值，并将这些集成结果作为增量度量约束处理。
我们用，表示 IMU 测量值(角速度和加速度)。这些测量受到偏置 b 和噪声的影响，
（2）
给定对应于图像帧和 的两个时间瞬间，我们可以在局部帧 中预积分线性加速度和角速度：
（3）
，，分别表示相对位置、速度和旋转约束。可以看出，惯性测量通常是积分形成相对运动约束，而不依赖于初始位置和帧速度。
C.视觉-惯性对准
我们从 SfM(第四节A部分)获得了最大比例的相机姿势，和来自 IMU 预积分的度量测量（第四节B部分）。在本节中，我们将详细介绍将这两个部分对齐的方法。
1）陀螺仪偏置标定：考虑窗口中连续两帧 和，从视觉结构和IMU 预积分的相对约束出发，得到相对旋转 和相对旋转。我们通过最小化这两项之间的误差来估计陀螺仪的偏差：
（4）
其中 B为窗口中的所有框架编制索引。在第二个方程中，我们对陀螺偏置的旋转约束进行了线性化。通过对视觉结构中具有相对约束条件的旋转对齐，可以得到视觉结构的边缘参数估计。然后我们基于来更新，。
Fig. 2. Since the magnitude of gravity is known, the degrees-of-freedom of the gravity is two. g lies on a sphere where the radius is the known magnitude |g|. We parameterize the gravity around current estimate as
where and are two or
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[238661]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
