英语原文共 16 页，剩余内容已隐藏，支付完成后下载完整资料
一种基于立体声对电视摄像机提取三维测量的系统
Y.Yakimovsky and R.Cunningham
摘要：从立体声电视摄像机对获得准确的三维（3D）测量是一项任务，需要相机建模，校准和两个电视图像上真实3D点的两个图像的匹配。在JPL中实现了对两个图像中的现实世界点的两个图像进行手动或自动进行建模和校准的系统。该系统运行并提供距离约2米、误差在正负15毫米的三维测量分辨率。
- 引言
从立体声对二维图像中提取三维测量是许多应用的重要任务。早期的工作导致了自动立体定向机和立体机的开发，主要用于从航空照片生成轮廓图。在[I]中给出了使用仪器和相关技术描述的自动立体编译系统开发的详细说明。最近的发展包括生物统计学中的许多应用[2-5]。其他最近的应用包括：在交通设计项目中绘制街道交叉口[6]，在海洋工程项目中进行船舶和海上平台的测量[7]，在矿区绘制地质构造[8]和森林资源中研究树木测量[9]。[10,11]中给出了其他应用的广泛参考书目和最新的发展。
在典型的应用中，立体图像被记录在胶片上并作为透明胶片显影。然后扫描透明胶片以获得在立体声编译过程中用于相关性的强度值。在立体声测量系统中使用计算机大大增加了立体声编译的速度，并且导致了三维建模和相机校准的高效灵活的分析方法[12-19]。然而，对于实时应用程序和远程处理应用程序，根据我们的系统为[20]设计的JPL机器人研究车辆的要求，有必要直接处理电视图像，而不需要在电影或大容量存储设备上进行中间存储，例如磁盘或磁带。
我们目前的系统通过在线电视图像产生精确的三维测量。我们通过使用两个刚性连接的固态电视摄像机作为传感器（GE TN-2000，它是电荷注入装置（CID）电视摄像机）获得了这一结果，这种固态电视摄像机具有高度线性的50mm镜头。这形成了稳定和线性的双摄像机系统。图像存储在JPL开发的数字化仪/存储设备RAPID中[21]。RAPID以标准视频速率（l / 30秒）数字化整个电视图像，同时提供计算机的访问时间为5mu;秒的并发随机访问个人图片密码。此外，我们使用了精确而灵活的相机校准方案和线性相机模型。计算机解决了系统方程，找到并存储了相机校准参数，并对两个图像中的点进行了配对。
两个图像中的点的配对可以通过使用相关算法或者由操作者手动完成。相关算法成功运行，由于准确的校准，并提供了良好的匹配，进而提供准确的3D测量。下面描述相机建模，相机的校准方案，对图像点的立体相关算法以及解决两张照片中的两张图像配对的点的真实位置的方程式。
图1.硬件配置：两台相机和手臂
- 相机建模
CID摄像机中的光传感器（图1）是包含188 X 244个光敏元件的二维阵列的矩形区域.每个摄像机的视频输出（电视图像）被数字化，使得图像看起来像计算机（在我们的例子中是一个具有64K 16位核心的SPC-16/85）作为二维188 X 244阵列。该数组的元素由（I，J）索引，其中0 le;Ile;187,0le;Jle;243。这个数组称为灰度级数组，这些数字的值对应于图像的亮度。
由于所有传感器元件位于同一平面上，所以数字（I，J）指定从图像平面的一个角度测量的传感器元件（I，J）的独特3-D位置。测量单位是相邻传感器元件之间的间距。校准参数允许图像的每个元素（I，J）与真实3D世界中的光线C lambda;*R（I，J），0le;lambda;le;infin;匹配。C是焦点中心，下面要定义的校准参数之一。R（I，J）是从（I，J）到摄像机焦点的光线的单位矢量，x表示沿着该光线的焦点中心的距离。因此，如果现实世界点P在图像元素（I，J）上成像，则必须在该光线上; 也就是说，对于一些lambda;gt; 0，P = C lambda;*R（I，J）（图2）。我们假设相机是几何线性的，这是一个合理的假设，考虑到线性传感器阵列和使用的高品质镜头。线性度的假设意味着第一相机有,，和，对于第二相机有
图2. 匹配图像点（I，J）与真实世界3-D点P.
，，和，使得如果将真实点P成像在图像坐标T1 =（I1，J1）和第二相机中的图像坐标=（，），然后
= (1)
= (2)
= (3)
= (4)
其中（X，Y）表示矢量X和Y的通常标量积。
提醒读者，对于任何向量X，Y，Z和任何标量c，标量产品的以下属性保持不变：
c*(X,Y) = (c*X,Y) = (X，c*Y) (5)
(X,Y) (X,Z) = （X,Y Z） (6)
这些参数向量的语义意义如下：C1和C2是第一和第二相机的焦点位置，相应地在外部坐标系中测量.（因此，P-C是从摄像机的焦点向P的矢量）. 向量A1（A2）是在第一（第二）相机指向的方向上的单位向量，因此是在外部坐标系中测量的透镜的对称轴的方向。H1（H2）被称为第一（第二）相机的水平矢量。H1和H2不是单位向量，不是垂直于A。V1（V2）被称为第一（第二）摄像机的垂直矢量。它不是单位矢量，并不一定垂直于A1（A2）或H1（H2）。
H和V的含义最好通过等式（1）-（4）的推导来表示。为此，初始假设H和V为单位向量H和V，使得A，H和V相互正交，H平行于水平图像线，V与垂直图像线平行。回想起（I，J）给出传感器元件（I，J）的三维位置，我们注意到，图像平面中的点（I，J）可以表示为（I 10，J J0），其中（10，J0）是图像平面的中心点（分别由第一和第二图像的图3中的R1和R2表示），（I，J）是从图像的中心。在图3中示出了用于立体摄像机对的配置和在第一和第二图像中在T1和T2上成像的点P.
图3. 立体声线对相机型号。图像中心标记为R1和R2。点P在T1和T2上成像。
参考图3并使用平面几何，我们通过写入开始推导等式（1）
=
其中L（R1Q1）表示具有端点R1和Q1的线段的长度。由于L（R1Q1）= L（SIT1）和L（R1Q）= L（S1P），
= (7)
片段S1T1的长度是来自图像中心的图像点T1的水平位移I1。R1C1的长度是第一相机镜头的焦距f1。R1C1的方向与A1相同; 因此，长度R1C1可以表示为（P-C1，A1），因为A是单位矢量。同样，由于S1P平行于H1，所以S1P的长度为（P-C1，H1）。因此，等式（5）可以写为
= 或 =
或通过（5），
=
回想起I1 = I1 I0，我们得到
= (8)
使用标量积的属性，方程（8）可以转换如下：
=
或者通过（5），
=
或者通过（6），
= (9)
比较方程（1）和（9），我们发现如果我们使H1 = f1lambda;H1 I0*A1，它们是等效的。因此，H1具有与长度等于第一相机的焦距的水平图像线平行的分量f1 * H1和分量I0。A1平行于A1，长度等于图像中每行传感器元件数量的一半。
从关系开始
=
类似的推导结果适用于等式（2）
= (10)
从等式（10），我们看到V1 = f1 * V1 J0 * A1。因此，V1具有与长度为f1的垂直图像线平行的分量，并且具有与长度为J0的A1平行的分量。
类似的推导应用于等式（3）和（4），其中H2和V2的解释对应于H1和V1。
- 校准系统
校准过程尝试找到两个摄像机的参数C，A，H和V. 这对每个摄像机单独完成如下：
现实世界中一组n个已知点P1，...，Pn被成像在相机上，并且获得并存储集合被成像的图像坐标（i1，j1），...，（in，jn）。在我们的情况下，这是通过将机器人手臂移动到相机前面（图1）并拍摄手臂来完成的。模式识别算法自动在每张图片中找到手臂的特征点。手臂被校准，使得现实世界中第m个特征点的实际坐标Pm是已知的。通过模式识别系统找到作为图像上的Pm的图像的（im，jm）。通过将Pm，im，jm代入方程（1），将这一组Pm与（im，jm）的匹配用于求解C，A，H和V。这产生
= (11)
相当于
*( - C,A) = - C,H) 或 *( - C,A) - - C,H)=0
使用属性（5）。我们得到
( - C,A) - - C,H)=0 （12）
或，通过属性（6）
（，）-(C,A)-(,H) (C,H)=0
让
= C= A= H=
表示向量Pm，C，A和H的（x，y，z）分量，并且令
=（C, H) 和 = (C,A).
然后我们得到以下关于八个未知数A1，A2，A3，H1，H2，H3，，的均匀线性方程组
在
在这里，有许多数值技术用于找到m个未知数的n个方程组的最优解，其中ngt; m。为方便起见，我们采用以下方法。通过设置A1 = 1将八个变量中的n个方程的线性系统简化为三个变量中的（n-4）个方程，并通过一次组合五个方程将H1，H2，H3和的所有系数任意设置为0。我们通过标准优化方法求解了最佳的A2，A3，到ntimes;m线性系统SX = B的解，其中S是由m矩阵和ngt; m的n。我们使用满足的 属于的事实。
与X0相同，解决了这个问题
然后，在公式中已知的A和被替换之后，（1，A2，A3）被缩放为1（|| A || = 1），并且从原始的n个方程式计算出，H1，H2，H3。
类似地,，V1，V2，V3通过使用等式（2）如下计算：
接下来，通过求解系统来计算C =（C1，C2，C3）:
请注意，,和在这一点上是已知的。
在计算C，A，H和V之后，计算差值。
这些值提供有关计算出的相机模型的充分性的信息; 例如，计算的（i，j）与实际（im，jm）偏离多少。目前，偏差并不超过摄像机分辨率预期的误差以及用于计算特征点位置（rsquo;s）的臂校准参数误差导致的预期误差。
4.将图片元素投射到真正的世界
相机校准参数用于将图像点投影到现实世界中。第一台照相机上的点（I1，J1）成像的实际点P将满足公式 （1）和（2）。这些方程可以如下反演来求解可能的P，其中给出了I1和J1。
这等同于等式（12）和属性（6）
因此，P-C1与H1-I1 * A和V1-J1 * A1都垂直，因此，
或
其中R1（I1，J1）||（V1-J1 * A1）X（HI-I1 * A1）和R1（I1，J1）是单位向量。
换句话说，假设点P在第一台相机中的（I1，J1）上成像，我们知道P必须位于真实线L1上：
在
并且R1（I1，J1）被归一化为1。
通常我们知道P距离摄像机焦点距离的距离（在我们的例子中，一个点通常距离摄像机前面的0.5m到 infin;）。这两个点是在C1 lambda;* R1（I1，J1）线上计算的，第一个摄像头前面0.5米，无限远的一个。这两个点被投影在第二个摄像机的图像上，使用等式（3）和（4）：Tn =（In，Jn）附近的一个， =（，）上的一个。点P本身将在连接两点和的二维图像中的直线上的某处成像。在第二个图像中该行上的P的精确图像是手动（使用光标）或自动（使用下一节中描述的相关算法）来找到的。一旦找到作为第二相机中P成像的图像坐标的（I2，J2），就可以计算P的位
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[27525]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
