英语原文共 10 页，剩余内容已隐藏，支付完成后下载完整资料
用多深度传感器进行人体动作捕捉
人体动作捕捉是困难的，因为复杂的3D骨骼模型以及遮挡问题。这篇文章中，我们提出运动捕捉系统可以实时的追踪动态地人体运动。不使用额外的标记，这个系统用的是多个深度相机来解决遮挡问题，以及人体的旋转问题。为了将从多个传感器获得的关节数据进行融合，我们的校准过程从深度图像中采样点云，并通过迭代最近点方法将点云中的坐标系统统一为一个单一的坐标系统。使用来自传感器的带有噪声的骨骼数据，提出了一种姿态重建的方法来估计关节的最优位置，实现关节的一致性运动。该系统有较高的跟踪精度，我们证明了我们的系统是适用于各种运动为基础的培训项目，包括舞蹈和跆拳道。
关键词：运动捕捉。，人体运动，动态运动，深度传感器，Multi-Kinect传感器，训练内容
1、介绍
数字化的人体运动研究已久，其特点是适用于不同的领域，在游戏，电影，动画和体育产业中是用虚拟代理。为了从表演者的全身运动中检索，例如，光学系统，由于其从附着在表演者身体上的大量标记重建骨骼数据的高精度而被广泛使用。然而，这些标记，连同一套特别的设计服装，是很难适用于一般用户的，即在各自的舞蹈形式，运动，武术，等方面的新手。因此，此类系统的适用性仅限于离线应用程序。
另一方面，无标记系统可以在不使用标记或者便装的情况下获得数据。这些运动捕捉方法【3】-【7】依赖于三维形状和颜色分析，或者一个三维人体模型，从多个彩色摄像机获得的多视图图像序列。最近，出现了kincet，在实时跟踪和捕捉人体运动方面引起了相当大的关注。kinect传感器已经被应用到许多商业游戏，因为它价格低廉，并且可以从普通用户那里提取全身运动。该传感器类型基于同时捕获彩色和深度数据，实时重建用户姿态，利用用户的身体动作作为输入，实现与游戏交互。其他类型的深度传感器为基础的系统捕捉人体运动在一个调查中得到了很好的解释。
在这篇论文中，我们提出了一个无标记的运动捕捉系统，可以实时的跟踪一般用户的快速和动态的运动。图一展示了系统产生用户的运动通过两个过程：校准和姿态重建。在校准的过程中，从每个传感器捕获的深度图像中采样一组点云，通过使用迭代最近点的方法，将点云坐标系统统一为一个单一的骨架表示。在姿态重建的过程中，通过从同步传感器获取的一组有噪声的骨架数据估计出最优的关节位置，得到每帧的输出骨架姿态。对于普通用户，我们multi-kinect系统是动态测试的。在这些程序中，专家舞蹈动作被预先捕捉到一个动作数据库中，然后与实时捕捉到的用户动作做比较。
我们的系统主要由两部分组成。首先，我们提供了一个经济有效的系统，利用现成的深度传感器，产生全身人体运动。为此，我们提供了校准和关节估计方法，以克服关节遮挡和身体旋转问题，这是一个单一的Kinect传感器经常出现的问题。其次，基于该系统的高跟踪精度，我们证明了我们的multi-Kinect系统可以应用于各种基于动作的内容，如舞蹈和跆拳道，用于训练目的。实验结果表明，该内容中的动态运动可以实时捕获，不需要额外的设备或复杂的概率模型。本文的其余部分组织如下。第二部分简要概述了以前使用多个传感器进行人体运动捕获的方法。第三节描述了带有服务器客户机模型的整个系统。Kinect传感器的输入数据的校准是在第四节解释道。姿势重建的输出运动估计最优关节从嘈杂的骨架数据详细节诉我们目前的实验结果在第六节和第七节总结本文讨论潜在的改进。
这篇文中剩下部分的架构是这样的。简短的综述对之前使用多传感器来捕获人体动作，在第二部分。整个系统使用了一个服务-客户端模型，在第三部分设计。矫正从传感器获得的输入数据在第四部分。从输出数据来姿态重建在第五部分。我们展示实验结果在第六部分，并且总结整个文章并且讨论潜在的改进在第七部分
- 相关工作
大多数的研究[3] -[7]侧重于使用多种彩色摄像机来捕捉用户的骨骼运动或表面外观。一些作品[3][4]采用多视图图像序列的形状和颜色分析，推导出骨骼运动。然而，这种方法通常需要从用户那里获取大量的训练图像。其他[5][7]利用高度详细的3D人体模型进行人体动作捕捉。然而，这些先决条件的数据很难预先为一般用户准备好。
最近，廉价深度传感器的出现，如微软Kinect[8]，使实时捕捉人体动作成为可能。然而，一个系统使用一个Kinect传感器经常会有关节遮挡，以及人体自旋问题。当人体被遮挡（例如，当一个用户转身），深度数据不能从传感器中获取，导致不成功的姿态估计。为了这个原因，一个使用者面对要面对着传感器确保每个关节都能被识别，这对于动态运动不可取的。Izadi团队克服了遮挡问题，通过移动Kinect传感器。但是他们的方法主要用于解决静态问题。
此外，Williamson团队提出了一个士兵训练系统使用多个Kinect，这样可以让物体360°旋转。Asteriadis团队提出了将能源公式用在关节位置上。Kitsikids团队使用三个Kinect传感器来提取舞蹈动作以及隐藏的随机条件识别运动。Kaenchan团队分析了走路运动基于主要的关节点。Moon团队以及其他的没有成功捕获360°，并且运动都很简单。
Jo团队提出了一个系统使用Kinect传感器来捕捉多个人，但是他们的重心在于跟踪多个人而不是提取运动。Ahmed使用四个传感器来捕捉拳击和走路运动在所有的使用者中。这个系统通过跟踪用户的脸来决定中间的传感器，关节的输入从其他的传感器中获得。相似的，Baek以及Kim分配一个基于根关节运动的中心Kinect传感器。他们提取姿态通过混合五个跟踪节点。
有些方法利用非骨骼数据和轮廓或模板匹配的优化过程来估计姿态。与以前的方法不同，我们的系统捕获了更复杂和更动态的一般用户的动作，用于训练目的。
- 系统综述
我们的系统采用的是多个传感器来捕捉运动，单个的传感器连接单个PC。基于动作的内容将进一步使用这些输出数据。采用客户端-服务端的模式来处理。在处理校正以及姿态重建的过程中，每个Kinect PC向服务器PC发送运动数据(即点云和骨骼关节)，从而生成统一的框架数据。基于动作的内容将进一步使用这些输出数据。
- 校准
为了将所有的坐标系统一，我们将坐标统一转换。，由于输入数据点的稀疏性，ICP的统一结果可能是错误的。因此通过对深度密集点的背景相减和体积采样，从深度图像中生成用户的点云。
- 点云产生
对于背景的去除，深度图像由w组成，背景被记作为Bwh，一旦kinect感知用户，当深度值低于某个阈值的时候，它被视为背景，因此被排除在外。在此滤波过程中，深度点往往会在边缘处产生噪声。用户脚端关节位置数据下面的深度数据被认为是噪声，因此被排除在外。
为了产生点云Pk,来自深度图像k个kinect，我们执行一个体积采样方法，细分深度空间以及估计平均位置。由于由于kth传感器的物理观测方向可以倾斜，点云在产生的时候，应该旋转和地面法线对齐。旋转矩阵由与Kinect骨骼的脊椎基底和脊椎关节相关的向量决定，上矢(y轴)在地面上，而用户站在一个直立的位置。在消除背景和噪声的情况下，Pk可产生大约15,000个点。
- 坐标校准
通过多个Kinect传感器，每个传感器的Pk坐标系统不同，可以通过计算一个刚性变换M=[R,T]统一为一个坐标系统。R是旋转，T是Pk中的坐标系向Pr中的参考坐标系的平移。在我们的系统中，参考点云Pr是由前向传感器获取的深度图像生成的。为了高效训练校准，图5中展示了一根长而细的棍子(大约50厘米)，一个轻的立方体物体(用于识别)在其顶端被用作校准工具。基于Kinect传感器的分辨率（521*424像素），棍子的深度数据被忽视，然而深度数据被捕获tip对象的深度数据。当一个用户移动工具在捕获空间中。当一个使用者使用工具，最重要深度数据被保存在相关节点，pt，tisin;[1,...,Np]。我们提供ptk从pk中以及ptr从pr中同时可以最小化下面的误差公式。
在（1），Rn是身体旋转在pk和pr中间，在这里面获取平面法向量。这些平面被定义为将最小二乘拟合方法[23]应用于实验点云
Vi={xi,yi,zi}。这两个点云的排列，加速迭代过程在ICP方法。在我们的系统中，我们设置np=300，这里50ms加速间隔。
5、姿态重建
Kinect传感器对骨骼关节的跟踪性能受面向传感器方向的影响。此外，当用户侧转时，由于自遮挡，传感器不再能够跟踪关节。图6显示了自遮挡问题的示例。多个kinect捕捉时间是同步的。
同步
传感器不是设计为多个工作单元，他不能同时捕捉人体运动。当每个传感器捕获一个运动帧序列时，从一个传感器到另一个传感器的时间差为几十毫秒(30 ms到90 ms)，如图7所示。这在从每个位置获取的关节位置估计最佳关节位置时可能存在问题
tj中的Kinect传感器。
我们的系统提出了一种基于样条插值法的关节位置误差修正方法。让tc为其中一个传感器返回的最快捕获时间，利用基于样条插值的时间tj - 1和当前时间tj估计其他传感器在tc处的关节位置。这里是三次样条，比如
在tj - 1和tj的单位间距之间可以使用Hermite或Ferguson。
关节估计
图7展示了初始关节姿势位置的产生，初始姿势是T-pose，kinect传感器可以检索25个骨骼，我们的系统只用19个，不需要手，脚趾头的关节，是用初始的姿势。利用初始姿态，测量每个关节的长度，并将其保持为关节长度L，用于最优关节估计。Kinect传感器不区分用户的左右两边;因此，从前传感器获取的初始姿态成为参考模型，它决定了从其他Kinect传感器获取关节的侧面。我们的姿态重建方法是基于识别输入数据中噪声水平和侧边的要求。据此，它估计了三个关节组的最佳位置:中心、躯干和四肢。
根据参考模型，如图4所示，首先定位骨架结构的顶部节点(脊柱基底部和髋关节)，开始姿态重建。如前所述，这些中心关节有时会受到自遮挡问题的阻碍，特别是当用户做旋转运动时。因此，关节估计主要依赖于前后Kinect传感器获取的中心关节位置。对于每个输入姿态，测量中心关节之间的三个距离，并与参考模型进行三角形状比较。根据三角形比值，选择与参考模型中最接近的值，并对输出姿态下的中心关节取平均值。
躯干关节(也就是从脊柱基部到躯干的关节链，头部)没有左右两边来区分。它们使用输入节点在阈值内的平均值。JN是和当前关节父关节有关的法向量，通过在JN方向上调整L的平均值来估计输出位置。
对于肢体关节(从肩膀到手的关节是手臂，从臀部到脚踝的关节是腿)，采用k-均值聚类方法对输入节点的边进行区分。首先，输入的节点被分成左右侧，S={Jl.JR},记作，
J1，J2分别是聚类Jl，Jr中的点，一旦根据参考模型确定了手臂的肩关节侧面，或腿的髋关节侧面，即前一姿势中母关节位置之间距离的平方值的最小差异模式，用于确定其余关节(肘关节、腕关节和胳膊用手，腿用膝盖和脚踝)。在这里，以前一种姿势的父关节作为参考点，确定当前姿势的子关节的侧边。
D(·)测量欧几里得距离在两个关节点之间。这里，父节点在前面的姿态中提供相关点来决定子节点在当前的姿态中的哪侧。
通过选择一个输入的关节数据来确定肢体关节的实际位置，
Jt=min(Dt At),
Dt和At是旋转方向和旋转角度，从Jt-1到Jt分别计算。类似于躯干关节,Jcirc;t的位置由L约的方向调整,如图8所示。Kinect传感器根据所学习的样本数据[24]跟踪身体部位;然而，它往往无法定位的关节在所有。在这种情况下，通过融合t - 2和t - 1的前两种姿势来合成关节位置。
6、实验结果
通过实时捕捉用户动态运动，证明了该系统的适用性。根据可用空间的不同，可以使用4到8个Kinect传感器来捕捉用户的动作。所有的运动数据以每秒30帧(fps)的速率被捕获。该系统是最好的说明，通过其使用的例子，如下所述，并在附录中。
- 动作捕捉
我们的多kinect系统与商业运动捕捉系统进行了比较，评估跟踪精度。可穿戴式捕获系统(Xsens)[25]由一组惯性传感器和一组八个Kinect传感器组成，同时用于比较。通过使用Kinect数据中最接近记录时间的帧来同步比较动作。由于所比较的骨骼模型在关节结构和尺寸上的差异，我们使用关节向量v来比较两种运动之间的角度差异。关节向量v在手臂上定义为从肩膀到手腕，在腿上定义为从臀部到脚踝。
图9对比了一系列使用者的动作，通过两个系统，捕捉的数据包括动态地不同的运动数据。例如，在舞蹈和跆拳道中常见的打拳、踢腿、踏步和转身。如图所示，我们的系统始终跟踪用户的动态运动，不会出现遮挡问题。可见，由于商业系统追踪的节点数目的不同，骨架模型在结构和尺寸上也存在差异。
表1和表2都展示了单个kinect追踪的正确率，以及我们的多kinect系统是针对商用的。在测试中，6个样品的运动(一组韩国流行舞蹈和跆拳道动作)，共39579帧(约22分钟)用于比较。从表中可以看出，我们的系统与商业系统相比，姿势相似度约为85.3%，比单一的Kinect系统提高了20%以上。通过ICP方法对刚性变换进行预处理后，重建输出姿态所需时间小于5 ms，实时生成运动捕捉数据。
值得注意的是，下关节不如上关节准确。这主要是因为可穿戴系统中附着在脚上的传感器会产生较大的噪音。
2. 动态的内容
为了证明我们多功能kinect系统的适用性，我们将系统整合为两个基于动作的内容：跳舞和跆拳道项目。在这些内
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[235307]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
