英语原文共 15 页，剩余内容已隐藏，支付完成后下载完整资料
生物医学的计算方法和程序
利用非接触式传感器和系统方法同时跟踪特定对象的刚性头部和非刚性面部模拟动作的实时计算机视觉系统
特点
bull;
针对具有纹理信息的特定头部模型题材的精确生产过程
计算机系统的系统开发方法
bull;
实时跟踪受试者特定的刚性头部和非刚性面部模拟动作
计算机系统的系统开发方法
bull;
实时计算机系统的系统开发方法
bull;
对开发的计算机视觉系统的多层次评价
摘要
背景和目标
头部和面部模拟动画在人机交互、互联网通信、多媒体应用和面部模拟分析等各个领域发挥着重要作用。许多研究一直试图模拟这些动画。然而他们很难全都满足在实时帧中特定主题行为的全刚性头部和非刚性面部模拟动画的要求。因此，此次研究旨在开发一种实时计算机系统用于同时跟踪刚性头部和非刚性面部模拟动作。
方法
我们的系统是使用系统方法开发的，采用非接触式Kinect传感器实现了数据采集子系统，设计了一个特定主题的模型生成子系统，从没有纹理信息的Kinect传感器中创建几何模型。特定主题的纹理生成子系统用于通过纹理信息增强生成模型的现实性，还开发了带有图形用户界面的头动画子系统。分析了模型精度和系统新能。
结果
从我们系统产生的模型与基于MRI的模型比较显示，我们的模型具有很好的精度范围（中星微质的距离偏差为~1mm，不同面部模拟位置的误差为[2-3mm]）。此外，在不同的头部和面部模拟动画中，系统速度可以优化到高帧（高达60fps）。
结论
本研究提出了一种新的计算机视觉系统用于实时跟踪特定对象的刚性头部和非刚性面部模拟动作，从长远来看，严肃的游戏技术将被整合到这个系统中，意建立一个完整的计算机辅助面部康复决策支持系统。
图形摘要
关键词：实时计算机视觉系统、头部刚性运动、面部非刚性运动、非接触式Kinect传感器、系统集成
- 介绍
头部和面部模仿动作的模拟对多个学科都很重要。他们的应用可能与面部手术模拟[1]、互联网通信[2]、多媒体应用[3]、和人机交互[4,5]。许多方法已经被提出来模拟这些复杂的运动模式，但是当试图在三维空间和主题特定的实时帧里实现模拟刚性头部和面部非刚性运动时，许多挑战还没有得到彻底的解决。一般来讲，头部的刚性运动是由平移和旋转组成的，而非刚性的面部模仿动作则解释了缩放和变形的效果。虽然刚性动画很容易计算给定的旋转角和平移矢量，但非刚性情况由于模拟对象的非线性变形则相对难以模拟，因此非刚性几何通常比刚性集合需要更多的计算成本。并且为了实现真实的动画，刚性和非刚性动画的计算速度必须达到实时帧。注意，实时速率等于或大于每秒30帧的图形动画率。特别是，面部模仿者的恢复与正常和对称的面部表情为面瘫患者允许他们改善他们的生活条件和社会认同。 面部康复是提高外科手术和药物治疗质量的重要临床常规措施之一。 传统的面部康复方法通常采用视觉反馈和主观触诊技术来评估病人的进展情况。 这需要一个新的工程解决方案，以更好地评估面部康复结果的定量和客观的方式而一个实时反馈的计算机视觉系统可以是一个创新的解决方案。人们提出了许多模拟头部和面部表情动画的计算方法，但他们几乎没有完成实时帧和真实的动画。 具体来说，大多数研究实际上无法实时模拟全刚性头和非刚性面部动画[2]、[3]、[4]、[8]、[9]、[10]、[11]、[12]、[13]、[14]、[15]、[16]、[17]、[18]、[19]， [20]，[21]。 准确地说，即使可以实时到达框架，头部模型也不包括皮肤变形[5]、全头模型[5]、特定主题模型[22，23]和完全面部动画[24]。 此外，在这些研究中，生成特定主题模型的过程没有集成到动画系统中，或者动画模型没有特定于主题。 另外，大多数研究只是模拟面部区域的非刚性动画，但后脑区域被丢弃或缺乏[5，8，[10]，[11]，[12]，[13]，[14]，[15]，[17]，[18]，[19]，[20]，[21]，25，26]。 事实上，虽然可以模拟全头模型，但它们不是特定于主题的[2,416，22，23，27]。 最后，还将舌头和牙齿等内部结构纳入头部模型，它们是从MRI图像重建的，不能个性化到另一个用户[9]。
输入交互设备对系统精度和系统制定者都有重要贡献。 根据从输入设备获取的特定类型的输入数据，必须进行研究 选择适当的重建方法来生成特定主题的模型。在动画制作过程中，必须检测和跟踪特定主题的数据，以便对特定主题的模型进行动画制作，因此输入设备的数据采集带宽也显著影响系统的框架。 当前的交互设备可分为基于单摄像机、基于立体摄像机、基于电磁、基于三维扫描仪和基于红绿蓝深度(R GB-D)摄像机的设备。单摄像机主要用于动画系统，因为数据采集速度快、成本低、流行广泛[2]、[3]、[4]、[5]、9、10、[12]、[13]、[14]、[15]、[16]、[17]、[18]， [19], [20], [21]. 然而，由于缺乏二维单图像的三维数据，需要更多的处理程序来从二维数据中重建三维数据。因此，大多数使用单摄像机的研究很难实现实时帧。立体相机也被用于三维空间中的人头重建和动画[22]。 由于二维图像处理的计算成本较高，使用面部标记的方法简化了三维运动估计。然而，设置时间长，面部标记数量有限，使得基于面部标记的系统很难提高动画质量和以特定主题的方式实现给新用户。 电磁传感器也可以作为面部标记来捕捉面部运动[24]。 尽管高运动精度和数据采集带宽，在使用这种类型的传感器时，传感器的电线和有限的数量通道是主要的缺点。此外，单摄像机和立体摄像机系统受到光照条件的影响小。能够以高精度直接获取三维数据，无需依赖在光照条件下，还使用了三维激光扫描仪[26，27]。 用于模拟面部模拟，但它们缺乏纹理信息。 此外，RGB-D相机还可以获得三维点云和纹理图像[8，11]。 对于面部应用程序，Kinect和KinectSDK被广泛使用。尽管Kinect在面部应用中是合适的[28]。 大多数研究只是将它们用于面部识别应用[29]、[30]、[31]、[32]、[33]、[34]、[35]，一些研究还使用Kinect重建面部表情[8，25]。 但他们只是生成了特定于主题的面部模型，无法实时动画这些模型。 即使可以实时地到达框架，动画模型也不是特定于主题的[23]。 虽然纹理映射对于提高特定主题的模拟水平也很重要，并不是所有的研究都包括它们生成的模型[10，11，14，20，26，27]上的纹理。 即使纹理被整合，它们的生成过程也不包括在系统过程中 [1,8,25].李等人提出了一种经典的纹理映射过程，2000[1]。 然而，没有研究利用Kinect相机的高水平数据来动画特定主题的刚性头部和具有纹理信息的非刚性面部模仿动作。
本研究旨在利用非接触式Kinect传感器（2.0版）和系统方法开发一种实时计算机视觉系统用于同时跟踪头部刚性运动和面部非刚性模仿运动。 事实上，Kinect传感器提供了一种高层次的信息，用于用纹理信息重建特定主题的几何头和面部模型，并用于动画化刚性头和非刚性面在实时帧中的模拟运动。 采用系统方法对系统组件之间交互的复杂性进行了管理。
以下各节将在第2节详细说明拟议的系统。 实验结果和讨论将分别在第3节和第4节中介绍。 最后关于我们系统的优势和未来发展的结论将在第5节中讨论。
2.材料和方法
2.1.系统框架
系统的概念[36]被应用于我们的头部和面部模拟动画系统。 在这个概念中，一个系统是由多个子系统组成的，这些子系统可以独立执行和优化，以根据系统开发目标实现唯一的优化。 所提出的系统的软件体系结构，如图1所示， 包括数据采集、特定主题的头部生成、纹理生成、头部动画和图形用户界面系统。它们是并行的，可以在内部系统线程中执行，并旨在实现实时帧和可接受的精度的头部和面部模拟动画。
图1. 开发的实时计算机视觉系统的系统框架，用于同时跟踪刚性头部和非刚性面部模拟动作
具体来说，在数据采集子系统中，Kinect传感器2.0由Kinect软件开发工具包(SDK)2.0使用和控制。 获取的数据包括高清晰度(HD)面部点、头部方向、头部位置和彩色图像。从模板头模型生成特定主题的头部模型，由KinectSD K支持，使用特定主题的头部生成子系统中特定主题的面部点，还从纹理生成子系统中标记有面部点的彩色图像中创建了面部纹理图像和纹理坐标。在头部动画子系统中，生成的模型被转换为当前头部方向和当前头部位置。非刚性动画的面部区域是通过取代面部顶点的高清脸部点。 最后，在GUI子系统中呈现动画头模型和生成的纹理。使用GUI子系统，用户还可以控制所有系统过程、更改系统参数和捕获当前特定主题的数据。
2.2. 数据采集子系统
使用系统线程编程了一个数据采集接口，以便从Kinect SDK连续捕获可用数据。该线程由高清人脸点、头部方向、头部位置和彩色图像侦听器组成。 事实上，Kinect传感器可以同时检测和跟踪其领域内的6个用户。 视觉(FOV)，但只能支持一个用户进行高清晰度面部分析。 因此，只选择最近的用户进行进一步的面部分析。 具体来说，最近的用户是根据头部位置和Kinec之间距离的最小值选择的 。检测和跟踪的面部点包括3D空间和2D彩色图像空间中的1347个点。 特别是，MPEG-4[37]面部点集，包括3D空间中的35个点，也是如此。由Kinect SDK支持。为了消除高清人脸点(MPEG-4人脸点)的噪声，对HD(MPEG-4)人脸点集的每个3D点实现了低通滤波器，并切断了以由用户调整的频率。 此外，还在数据采集子系统中获取和过滤了头部方向和头部位置。 在三维欧氏空间(Pc(xc，yc，z c)中跟踪当前头部位置， 在四元坐标(I q(xq，yq，zq，wq))中跟踪当前头部方向，将其转换为欧几里德空间(IC(Pitchc，yhc，r)中的俯仰、偏航和滚转角。使用下列方程：
其中螺距c、偏航c和滚转c是欧几里德空间中x轴、y轴和z轴的旋转角弧度）。在纹理生成过程中，还采集了彩色高清（1920times;1080）图像面部和头部数据。在HD图像中，由KinectSD K自动生成包含面部区域和二维图像空间中的面部点的矩形。最后，KinectSD K还支持模板头模型，其面部顶点与HD和MPEG-4面部点匹配。图2展示了由KinectSD K移植数据类型和模板头模型的示例
图2. 从Kinect获得的数据：(a)高清面部点；(b)通用头部模型；(c)与面部顶点匹配的高清面部点；(d)MPEG-4面部点；(e)用面部标记的彩色图像 区域和面部高清点。
虽然Kinect传感器可以实时获取多种类型的数据，但为了优化适当子系统的数据采集带宽，提出了一种数据采集策略。对于模型和纹理世代，获得了所有类型的数据（高清人脸点、头部方向、头部位置、高清彩色图像）。在这种情况下，最高的数据采集框架 Kinect只有30fps。然而，对于模型动画，只需要高清人脸点、头部方向和头部位置，因此数据采集带宽可以加速到60fps。特别是，当Kinect SDK没有任何类型的数据时，系统能够在不等待这种类型的数据的情况下继续获取其他类型的数据。
2.3.特定主题的头生成子系统
该子系统旨在从HD面部点生成特定于主题的头部几何模型.. 在数据收集阶段，跟踪最近用户的头部方向和位置 指示使用者把头移向所需的方向。图3 显示指令过程，以获得GUI子系统中用户的左、右、上和前视图。具体来说，需要跟踪用户的左、右、上和前视图，以及K 内部SDK将决定所需的视图。根据KinectSD K的要求，显示合适的引导图像。此外，一个模板头部模型根据他/她当前的头部方向控制实时旋转来帮助用户控制他/她的头部运动。
图3 在数据采集过程中为特定主题的头部生成设置位置
在主题特定的模型生成阶段（图4），从一般面部顶点(F G[1347times;3])到主题特定面部点(Fs[1347times;3])的仿射变换矩阵是估计的。请注意，头部模型由后脑顶点和面部顶点组成。利用相干点漂移(CPD)配准算法估计最佳合适的仿射变换矩阵[38]。然后，将估计的仿射变换矩阵应用于模板头顶点(H G[2583times;3])，形成仿射头顶点(HA[2583times;3])。最后，主体特定的头部顶点是通过将面部顶点替换为主题特定的面部点。因此，后头顶点集的边界顶点与面部顶点集的边界顶点相对拟合。 为了在图形系统上渲染，特定主题的面结构模型与模板模型之一保持不变。 需要注意的是，Kinect传感器的使用不允许直接为受试者或患者特定模型获取头部回信息。因此，我们将仿射变换应用于推导特定主题的最佳背面信息的通用模型。 注意，只有面部顶点被替换，然后使用仿射变换允许后头信息被变形，并直接用于最终生成的模型。拟合质量过程取决于应用CPD方法时使用的配准点集中的点数。因此，当面顶点密度降低时，边界顶点上出现不连续性。
图4 特定主题的头部生成过程的不同处理步骤的说明
在这一转换过程中，处理主要是在估计仿射变换与CPD。当面部穴位密度降低时，该步骤的计算时间显著缩短。 另一种面部点集被选为移动图片专家组(MPEG)minus;4个面部标准[37]。特别是，KinectSD K还可以支持跟踪用户脸上的35个MPEG-4面部点。然而，当减少面部点集的密度时，特定主题的信息也会减少，后头和面部区域之间的边界
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[239320]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
