附录B 外文原文
Machine-Vision-Based Estimation of Pose and Size Parameters from a Generic Workpiece Description
F. Kececi and H.-H. Nagel
ABSTRACT
Automatic disassembly of used products cannot assume that CAD databases will provide precise knowledge about, pose, size, and shape of components to be manipulated: during use, components may have been repaired, repositioned, or replaced, thereby possibly invalidating original construction data — if these should be available at all during disassembly time. In principle, the missing information can be provided by machine vision which becomes usually more robust if it can rely on some knowledge about the workpieces to be manipulated, for example in the form of generic descriptions. Use of the latter necessitates, however, that not only an unknow pose, but in addition unknown size and shape parameters of a component have to be determined. A solution to the automatic determination of location, orientation, size, and shape of truncated cones is demonstrated by the example of shock absorber lids in the engine compartment of a used car.
1. Introduction
In contrast to assembly tasks where shape and actual pose of components to be assembled are known in advance, this knowledge is not available in general for the disassembly of used products such as old cars (see Fig. l. ). Machine vision, however, can extract the required pose knowledge from a single image, provided a precise model of the component in question is available to the disassembly system In order to facilitate a model-based approach under this condition, the camera has to be positioned such that the relevant component is not significantly occluded by other parts in the scene and contrasts well against its background. Unless a machine vision system has access to a-priori knowledge about the pose of a component to be manipulated, a single fixed camera pose cannot guarantee reliable disassembly operations in general. Image sequence evaluation m combination with a movable camera mounted on an observer robot provides more flexibility [8].
Once facilities to control the camera pose as well as to record and evaluate image sequences are provided, they can be exploited further in order to relax an implicit dependence on quantitative a-priori knowledge about the shape of components: generic descriptions specify mostly qualitative knowledge about objects of interest. Furthermore, in contradistinction to geometric in particular CAD — models, generic descriptions have the advantage that an entire class of objects with different shape and size parameters can be specified. Fig. 2 shows an enlargement of a shock absorber lid from Fig. I and the associated generic description for a truncated-cone. A machine vision system which can exploit generic object descriptions thus opens a road to deal with components which may have been deformed or replaced by similar ones.
Figure l: An experimental disassembly cell, showing the engine compartment of a used car and (a) an observer robot carrying (b) a stereo camera head. Examples for components to be located by machine vision for subsequent manipulation by a second robot (not visible in this image) include (c) left shock absorber lid, (d) low-pressure vacuum accumulator for servo-brake, (e) generator, (f) air intake filter, (g) brake fluid reservoir, (h) cooling liquid reservoir, (i) right shock absorber lid, (j) water reservoir for windshield wiper, and (k) car battery.
Figure 2: A shock absorber lid and its generic description, simplified as a truncated-cone. The origin O of the object coordinate system is located in the center of the upper circular surface (denoted by 11) of the truncated-cone, with the positive Z-axis being parallel to the normal of 11 and pointing into free space. The generic description depends on three parameters: the radius of u, the radius rt of the lower circular surface (denoted by), and the position of the latter along the negative Z-axis of the object coordinate system, corresponding to a height of h.
2. The Instantiation of a Generic Truncated Cone Description
In the remainder of this contribution, we use the generic description illustrated in Fig. 2 which depends on three parameters for the size and shape of a truncated-cone. In addition, six parameters and describe the object pose with respect to the scene coordinate system A simultaneous estimation o]: size, shape, and pose parameters instantiates this generic description, in our case for shock absorber lids such as those shown in Fig. 1.
The approach to be reported here comprises several steps which are outlined in this section before being treated in more detail in subsequent sections.
(1) Edge elements (EEs) extracted from an image are concatenated by a data-driven approach into curved data-segments see top left panel of Fig. 3.
(2) Curved data-segments of sufficient length whose normal turns continuously through a sufficiently large angle are selected and fitted by an ellipse — see top right panel of Fig. 3.
Figure 3: Top left panel: image contours (obtained by aggregating edge elements) are superimposed in white onto the first image taken from the right shock absorber lid in Fig. 1. Top right panel: an ellipse fitted to this contour curve deviates by a small amount from the boundary contour of the upper circular facet u (see Fig. 2). Bottom panel: an ellipse fitted directly to edge elements which are associated in the update step of the IEKF coincides almost perfectly with the boundary contour of U
(3) Assuming that the ellipse obtained thereby results from the projection of a scene space circle into the image plane, the orientation of the circular surface patch in the scene space can be inferred, for example based on the approach described by [2]
(4) At this
剩余内容已隐藏，支付完成后下载完整资料
附录A 外文译文
基于机器视觉的通用机器人姿态和尺寸参数估计
F. Kececi and H.-H. Nagel
摘 要
旧产品的自动拆卸不能假设为 CAD 数据库将提供有关要操作的组件的姿势、大小和形状的精确数据：在使用过程中，组件可能已被修复、重新定位或更换，从而可能使原始构造数据失效——如果这些数据在拆卸期间始终可用的话。原则上，缺失的信息可以通过机器视觉来提供，如果机器视觉能够依赖对要操作的工件的一些数据，那么机器视觉通常是可靠的，例如类属描述。然而，使用后者不仅需要确定未知的姿态，而且还需要确定组件的初始尺寸和形状参数。通过对某轿车发动机舱减振器盖的检测，提出了一种自动监测截锥的位置、方向、尺寸和形状的方法。
1.介绍
与预先知道要装配的部件的形状和实际姿势的装配任务不同，这种知识一般不适用于旧汽车（见图1）等旧产品的拆卸，但是机器视觉可以从单个图像中提取所需的姿势数据，前提是拆卸系统可以获得有关部件的精确模型。在这种情况下，为了便于基于模型的方法，摄像机的位置必须使相关组件不明显地被场景中的其他部分包含，并且与背景形成良好的对比。除非机器视觉系统能够获得有关被操纵部件的姿态的先验知识，否则相机姿态一般不能保证可靠的拆卸操作。图像序列评估结合安装在“观察机器人”上的可移动摄像机提供了更大的灵活性文献[8]。
一旦提供了控制相机姿态以及记录和评估图像序列的设施，就可以进一步利用这些设施，以消除对组件形状的先验知识的隐性依赖：类属描述主要指定了有关感兴趣对象的先验知识。此外，与几何模型（特别是CAD模型）相反，通用描述具有以下优点：可以指定具有不同形状和大小参数的整个对象类。图2显示出了图1中减震器盖的放大图和截锥的相关通用描述。利用类属对象描述的机器视觉系统为处理可能变形或被相似对象重新放置的部件开辟了道路。
图1.一个实验性的拆卸单元，显示了一辆二手车的发动机舱和（a）一个携带（b）一个立体摄像头的“观察机器人”。由机器视觉定位的部件检查，以便随后由第二个机器人操作（在本图中不可见），包括（c）左减震器盖，（d）伺服制动用低压真空蓄能器，（e）发电机，（f）进气滤清器，（9）制动液储液罐，（h）冷却液储液罐，（i） 右减震器盖，（j）挡风玻璃雨刮器储水箱和（k）汽车蓄电池。
图2：减震器盖及其一般描述，简化为截锥。物体坐标系的原点O位于截锥上圆表面（用U表示）的中心，其正切Z轴平行于U的法线，指向自由空间。一般的描述取决于三个参数：U的半径，下圆曲面的半径（用表示），以及下圆曲面沿着观察坐标系的负Z轴的位置，对应于h的高度。
2. 实例化！一般截锥描述
在本文的其余部分中，我们使用图2中所示的类属描述，该描述依赖于三个参数来表示截锥的大小和形状。另外，六个参数和以及描述了目标相对于场景坐标系的姿态。尺寸、形状和姿势参数的联合估计例示了这种类属描述，例如图1所示的减震器盖。
这里要报告的方法包括几个步骤，这些步骤在本节中概述，然后在后续章节中进行更详细的处理。
图3：左上面板：图像轮廓（通过聚集边缘元素获得）以白色叠加在图1中从右减震器盖拍摄的第一张图像上。拟合到该等高线曲线的椭圆与上圆形小平面U的边界等高线有少量偏差（见图2）。底部面板：一个椭圆直接安装到边缘元素，这些元素在IEKF的更新步骤中关联，几乎完全符合U的边界轮廓。
(1) 从图像中提取的边缘元素（EEs）通过数据驱动的方法连接到弯曲的数据段中--参见图3的左上角。
(2) “足够”长度的曲线数据段它的正常转向通过一个“合理”的大角度被一个椭圆选择和安装-参见图3的右上角面板。
(3) 假设由此获得的椭圆是从场景空间圆投影到图像平面的结果，则可以推断场景空间中圆形曲面片的方向：例如，基于文献[2]描述的方法。
(4) 在这一阶段，场景中所描绘的圆环的大小和姿态相对于相机坐标系是已知的，直到半径和深度的一个共同因素。假设该比例因子的“合理”值（机器人的工作空间近似为半径约为1米的球体）会产生半径和深度的单独估计值。利用这些初始估计建立基于模型的卡尔曼滤波器跟踪步骤（参见，例如，文献[1]）。只有根据文献[6]确定的椭圆不确定区域内的EEs与反投影圆模型相关。第一个图像的更新阶段产生一个改进的估计，如图3所示的底部面板。
图4：左上角面板：该序列的最后一帧（n=91）图像中 U 投影所对应的椭圆 在右
减震器盖上叠加成白色。关于减震器盖上圆表面U的姿势数据以截锥（右上角）的形式给出了一般描述的初始实例。IEKF根据来自其他EEs的信息更新了这个初始实例化，从而改进了拟合（底部面板）。
(5) 应用卡尔曼滤波器，以便根据假定的比例因子跟踪圆的图像，同时将安装在“观察机器人”上的摄像机沿与场景空间中的圆表面平行的方向沿足够宽的“立体基线”移动。“观察机器人”的缓慢移动使得评估隔行全帧图像序列成为可能。
(6) 在这个基于初始准模型的末尾（比例因子还不知道！）-跟踪阶段，我们可以重新确定场景空间中圆形面片的姿态。由于这种姿态在摄像机位移过程中不应该发生变化，我们从两种不同的相机姿态出发，得到了该原型曲面片对应的两幅椭圆图像的等价性。由于之前的（离线）校准阶段，已知内部摄像机参数、手眼校准和机器人场景校准。因此，我们知道摄像机相对于场景的姿态。因此，标准立体评估允许估计场景中圆的全姿态参数向量，从而产生先前假设的比例因子的估计。
图5：右减震器盖的一般说明的实例在IEKF使用基于模型的机器视觉从第91帧向后跟踪后，以白色叠加到该序列的第一幅图像上，如文中所述。
(7)在这一阶段，通用截锥模型的上圆表面的尺寸、位置和方向已经被描述出来了。由于该截锥的上下圆表面是平行的，因此可以在预测的不确定度范围内搜索与下圆表面相对应的椭圆段。后者是在假定下圆表面的半径可以初始化的基础上导出的，序列化为等于上圆表面的半径。此外，截锥的一般描述的高度约为半径的三分之一。请注意，这些假设允许考虑到下圆锥体表面轮廓
(8)EEs在大约已知的的可见轮廓部分周围的不确定椭圆内的初始遮挡，用于更新截锥模型的参数。由此得到的实际圆锥高度和形状的估计如图4所示。
(9)减震器盖的完整模型的实例随后通过其基于模型的跟踪来开发，同时相机返回其原始位置。由于截锥模型的尺寸、形状和姿态参数由卡尔曼滤波器连续更新，估计精度可以进一步改进（见图5）。另外，我们从最后一个卡尔曼滤波器更新步骤得到最终参数估计的协方差矩阵。
在简要调查了最近相关的重新搜索结果之后，报告了概述方法的细节。
3.相关研究综述
在简要调查了最近相关的重新搜索结果之后，报告了概述方法的细节文献[5]简要介绍了几种典型的基于不同类型图像的几何对象模型构造方法。作者还描述了从图像中进行对象建模的两个例子：a）从一小组注册照片中发现的对象轮廓构建三维曲面模型；b）基于图像的渲染。
文献[3]介绍了一种基于生成视觉的机器人任务结构。在该任务结构中，被操作对象由满足基于视觉的机器人运动控制需要的定性模型表示。这些需求包括几何、应用和对象分类。所描述的框架的实验结果没有被重新移植。
文献[7]提出了一种从人体头部图像中确定其姿态的方法。为了处理不同个体的头部形状和面部表情的变化，采用了一种通用的三维人体头部模型。这个胡人头部的三维模型包括描述眼睛、嘴唇和眉毛的三维曲线。其关键思想是通过迭代最小化投影模型曲线与其最接近的图像曲线之间的马氏距离，利用一种称为迭代最近曲线匹配（ICC）的技术来恢复人头部的姿态。除了头部姿态外，文献[7]中提出的方法还确定了摄像机的内部参数。
文献[4]介绍了一种已知半径的下水道圆形结构的三维图像解译方法。该方法确定下水道圆形结构相对于安装在机器人检查员上的标定摄像机的三维方向和距离。文献[4]中的方法与我们的方法有三点不同：
文献[4]中的圆形特征半径是先验的，而我们估计所有的形状和尺寸参数；
与文献[4]中描述的评估单个图像的方法不同，我们的方法评估图像序列；
我们将椭圆拟合到IEKF的最新步骤提供的EEs，而文献[4]中的方法使用几个预定义的阈值来提取椭圆。
4. u,,和h的实例化
如文献[9]所述，通过最小化平方代数距离的椭圆拟合受到高电流偏差的干扰。因此，短图像轮廓可能导致低质量的小椭圆（=偏离U的轮廓），进而导致不精确的姿态估计。因此，我们避免了过短的数据段，并集中于将较长的曲线数据段与截锥的上圆曲面相对应。
在从U的轮廓中提取椭圆之后，如果场景域中的半径已知的话，文献[2]中算发描述的和图6中描绘的算法允许我们确定摄像机坐标系中相应圆的姿态。因为在我们的例子中，这个半径不是先验的，所以我们从一些合理的公共比例因子开始，既包括场景中圆的半径，也包括它与摄像机坐标系原点的距离。假设该比例因子对应于圆的中心深度约为“观察机器人”操作体积直径的一半。我们用表示的结果值。如第5节所示，我们的方法并不完全取决于假设比例因子的特定值的选择。基于这些假设，我们从图像平面椭圆得到U的初始场景姿态。
图6：图像平面中给定的椭圆可以使用相机的内部参数在相机坐标系统c中转换为椭圆。圆锥体的顶点放在摄像机的投影中心，即c中给出的定义圆锥体底面的椭圆。主轴变换将摄像机坐标系转换为一个新的坐标系，该坐标系的X轴和Y轴与椭圆的短轴平行。新坐标系的Z轴指向投影中心。接下来，新的坐标系绕其X轴旋转。这种旋转产生另一个坐标系t，在该坐标系中，椭圆被转换为半径r的圆。
随后，我们使用迭代扩展卡尔曼滤波器（IEKF）在场景域中跟踪具有圆形特征的对象。用初始化Kalman滤波器状态后，更新IEEE的步骤将EEs（从处理过的第一幅图像中提取）与半径的圆形表面u的投影相关联。仅考虑U投影周围置信包络内的EEs（置信包络的确定见文献[6]）。正如预期的那样，在置信包线内直接安装在EEs上的椭圆与U的边界轮廓的偏差小于。图3的底部面板。
我们在“观察机器人”上的摄像机过程中，在产生单目视觉序列的每个帧上迭代IEKF。注意，在我们的方法的这一阶段中，IEKF被用于根据每个帧中的预期图像平面椭圆从每个帧中选择EEs，而不是更新场景空间中圆形曲面片的姿态。以这种方式，可以促进从图像序列的第一图像帧和最后图像帧中提取的椭圆之间的可靠匹配，即通过相机的实质性平移。
如图6所示，在摄像机坐标系c中给出的椭圆由t坐标系中半径r的圆表示（参见图6的标题）。该坐标系中圆的中心点m的坐标取决于圆的半径r和两个标量和，这两个标量可以根据给定的.r.t.椭圆的参数计算得出。摄像机坐标系。
. (1)
在文献[2]中介绍的算法提供了第一图像帧 a 3 x 3 旋转矩阵，其将坐标系中给定的点转换为相机坐标系中的点。用的中心点的U . r. t的坐标系产生：
. (2)
我们可以通过旋转矩阵和平移向量为找到相应的场景点：
. (3)
和可以使用机器人控制器提供的机器人手的实际姿势，以及基于已知的机器人场景和手眼校准来计算。
对于n幅图像序列的最后一帧，我们得到类似的方程式：
. (4)
. (5)
(3) 和 (5) 描述了U . r. t的中心点，在这个坐标系中，静止物体的姿态不随摄像机的移动而改变。将式 (3) 设为式 (5) ，并将式 (2) 与式 (4) 一起使用，我们得到：
. (6)
或
. (7)
参数，，和可以分别从和的参数中提取。把左手边的标量积和右手边的标量积结合起来，就得到了的一个标量方程。
一旦找到半径的初始估计值，我们就使用式 (1) 确定U . r. t的中心点。式 (2) 和式 (3) 提供了U的场景位置。 由式(3)可知，U 在场景域中的方向不取决于的实际值，并且可以由旋转矩阵确定。
图7：左面板：为左减震器盖提取的图像轮廓。右面板：左盖的最终实例化模型，叠加到第1帧。
由于截锥的下圆面的轮廓被圆锥体本身部分遮挡，纯数据驱动的方法来确定图像平面中的椭圆（类似于应用于U的过程）可能会导致不可靠的估计。因此，我们利用在我们的方法的这个阶段获得的关于截锥轴和方向的知识，以制定关于图像平面EEs中的位置的期望应收集一些可能与的轮廓有关的信息。IEKF使用模型参数，和以及使用获得的初始姿势初始化。
5.实验和结论
由图3到图5可知，前面几节描述的方法不仅适用于安装在右侧减震器盖上，由图1和图7可知，也适用于安装在左侧减震器盖上。
表1显示了从同一图像的评估中获得的右减震器盖的尺寸、形状和姿态参数：如图所示的顺序。3到5使用不同的值。如预期的那样，量子化结果极少地依赖于的初始假设值。同一陈述适用于如表2所示的左减震器盖图像序列的结果。
表1： 模型p和模型参数（见第二节）的右侧减震器盖. r. t. 三个初始值。名义值，和h依次为46.0mm，51.0mm和19.3mm，p和m以mm为单位给出，而以程度为单位给出。对于第二个结果栏里面的的
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[411472]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
