From Motion Capture to Action Capture:
A Review of Imitation Learning Techniques and their Application to VR-based Character Animation
Bernhard Jung, Heni Ben Amor, Guido Heumer, Matthias Weber
VR and Multimedia Group
TU Bergakademie Freiberg
Freiberg, Germany
jung|amor|guido.heumer|matthias.weber@informatik.tu-freiberg.de
ABSTRACT
We present a novel method for virtual character anima-tion that we call action capture. In this approach, virtual characters learn to imitate the actions of Virtual Reality (VR) users by tracking not only the usersrsquo; movements but also their interactions with scene objects. Action capture builds on conventional motion capture but differs from it in that higher-level action representations are transferred rather than low-level motion data. As an advantage, the learned actions can often be naturally applied to varying situations, thus avoiding retargetting problems of motion capture. The idea of action capture is inspired by human imitation learning; related methods have been investigated for a longer time in robotics. The paper reviews the rele-vant literature in these areas before framing the concept of action capture in the context of VR-based character anima-tion. We also present an example in which the actions of a VR user are transferred to a virtual worker.
Categories and Subject Descriptors
I.2.6 [Artificial Intelligence]: Learning; I.3.6 [Computer
Graphics]: Methodology and Techniques—Interaction tech-
niques; I.3.7 [Computer Graphics]: Three-Dimensional Graphics and Realism—Virtual Reality
General Terms
Algorithms
Keywords
Virtual Reality, Motion Capture, Imitation Learning, Char-acter Animation
- INTRODUCTION
Since its inception, motion capture has proved to be a powerful and natural way of producing complex animations for virtual characters. Animations recorded from a human actor through motion capture are natural, lifelike, and con-tain even subtle details of human movement. Today, motion capturing is used in a variety of applications, ranging from virtual reality environments to video games and movies. In recent years, however, the virtual worlds found in such appli-cations have become more and more complex, thus making various limitations of motion capture visible. For example, there is a current trend in the computer graphics commu-nity towards increased interactivity: virtual characters have to be able to react appropriately to sensations from their environment or the user. For this, the animations have to be changed at runtime; a process which is very difficult to do with motion capture data. A partial solution to this prob-lem, motion graphs, is proposed in [13]. Another recent trend is the use of physical models in order to enrich the virtual worlds with a higher amount of realism and respon-siveness. Again, online modifications of recorded motions are needed, in order to have the animation of a virtual char-acter change according to the physical forces acting on it. One approach for combining physical models with motion capture data has been proposed in [29]. Recent movie pro-ductions also have started to use large groups of autonomous characters, each of which is equipped with a basic set of mo-tion captured skills. However, these motions are not flexible enough in order to be changed according to the context they are triggered in. For example, a recorded motion for attack-ing a normal sized opponent might be rendered obsolete, if the current opponent is only half as tall.
A more flexible synthesis of motions can be achieved by means of behavioral animation techniques. Here, the anima-tion is represented through a model or controller, instead of a set of motion data. Applying the controller in each simu-lation step yields the desired animation. Unfortunately, cre-ating good controllers is often a difficult process based on complex search and optimization techniques. Additionally, by relying on such optimization or planning processes, the user sacrifices a large amount of control over the resulting animation. As a consequence, the animator is often required to put significant effort into parameter tweaking in order to achieve the desired end result of naturally appearing anima-tions.
In this paper, we introduce a new approach to anima-tion synthesis that we call action capture. Action capture is a VR-based method that not only tracks the userrsquo;s move-ments but also his or her interactions with scene objects.
The goal of action capture is to combine the power of mo-tion capture for creating natural and complex animations with the flexibility and dynamic responses of behavioral an-imation. To this end, imitation learning techniques are used in order to build faithful, yet situationally adaptable mod-els of recorded movements that preserve interactions with scene objects under varying environmental conditions. Im-itation learning has been investigated for a longer time in the cognitive and neuro sciences as well as in the fields of robotics and Artificial Intelligence, where related methods have been applied as a means of programming robots by demonstration. We review and discuss some of the rele-vant publications in these areas from a computer animation point of view. Building upon the results of this discussion, we present a basic framework for action capture and suggest possible extensions. Finally, we present first results from an ongoing research project in which manipulation tasks per-formed in VR are used to generate the animation of virtual humans.
- MOTIVATION
Extending conventional motion capture, action capture aims t
剩余内容已隐藏，支付完成后下载完整资料
从动作捕捉动作捕捉:回顾模仿学习技术和他们的应用程序虚拟角色动画
伯纳德bull;荣格Heni本·埃莫Guido Heumer马提亚韦伯
VR和多媒体组
弗莱堡大学,说白了
德国弗赖堡
荣格|阿莫| guido.heumer | matthias.weber@informatik.tu-freiberg.de
文摘
我们提出一个新颖的方法对虚拟角色anima-tion,我们称之为动作捕捉。在这种方法中,虚拟角色学习模仿的行为虚拟现实(VR)用户不仅通过跟踪用户的动作也与场景的交互对象。动作捕捉建立在传统的动作捕捉但是与它的不同之处在于,更高层次的行动表示传输而不是低级的运动数据。作为一个优势,学会操作通常可以自然地应用到不同的情况下,从而避免gdp8 %动作捕捉的问题。动作捕捉的想法是受人类模仿学习,相关的方法研究了机器人的时间较长。rele-vant文献进行了综述,并在这些领域的概念框架行动之前捕捉虚拟人物anima-tion的上下文中。我们还展示了一个例子,一个虚拟用户的行为转移到一个虚拟的工人。
分类和主题描述符
I.2.6(人工智能):学习;I.3.6[电脑
图形:方法和Techniques-Interaction科技-
种;I.3.7(计算机图形学):三维图形和Realism-Virtual现实
一般条款
算法
关键字
虚拟现实、动作捕捉、模仿学习、Char-acter动画
1.介绍
自成立以来,动作捕捉已经证明是一个强大的和自然的方式生产复杂的虚拟角色的动画。通过动作捕捉动画记录从人类演员自然、逼真,甚至con-tain人类运动的微妙的细节。今天,运动捕获用于各种各样的应用程序,从虚拟现实环境到视频游戏和电影。近年来,然而,这种appli-cations中的虚拟世界变得越来越复杂,从而使各种动作捕捉可见的局限性。例如,有一个当前的趋势在计算机图形学中commu-nity对增加交互性:虚拟角色必须能够做出适当的反应感觉从他们的环境或用户。为此,动画必须在运行时改变,这一过程是非常困难与动作捕捉数据。部分解决这个prob-lem运动图,提出了[13]。另一个最近的趋势是使用物理模型,以丰富的虚拟世界的现实主义和respon-siveness量更高。再次,在线修改记录的运动是必须的,为了有一个虚拟的动画char-acter变化根据物理力。一种方法为物理模型结合动作捕捉数据提出了[29]。最近的电影产量也已经开始使用大量的自主角色,每一个都配备了一套基本的mo-tion捕获能力。然而,这些动作不够灵活为了改变根据他们所触发的环境。例如,记录运动attack-ing正常大小的对手可能会变得过时,如果当前的对手只有一半高。
更灵活的合成运动可以通过行为动画技术实现。在这里,anima-tion表示通过一个模型或控制器,而不是运动的一组数据。控制器应用于每个形式步骤产量所需的动画。不幸的是,cre-ating好的控制器往往是一个艰难的过程基于复杂的搜索和优化技术。此外,依靠这样的优化或规划流程,用户牺牲大量的控制产生的动画。因此,动画师往往需要投入大量精力参数的调整以达到预期的结果自然出现anima-tions。
在本文中,我们引入一个新的anima-tion合成方法,我们称之为动作捕捉。动作捕捉虚拟方法不仅追踪用户的move-ments而且他或她与场景的交互对象。
动作捕捉的目标是结合mo-tion捕捉创造自然的力量和复杂的动画的灵活性和动态响应行为an-imation。为此,模仿学习技术是为了建立忠实的使用,然而情境适应性模式记录的运动保护与场景的交互对象在不同环境条件下。Im-itation学习已经调查了一个长时间的认知和神经科学领域的机器人和人工智能,在相关的方法所应用的编程机器人演示。我们回顾和讨论的一些rele-vant出版物在这些领域从电脑动画的观点。建立在这个讨论的结果,我们提出一个基本的行动框架捕获和显示可能的扩展。最后,我们提出第一个结果从一个正在进行的研究项目中操纵任务被施行VR用于生成虚拟人动画。
2.的动力
扩展传统的动作捕捉,动作捕捉旨在利用越来越多的可用,完整的虚拟现实系统anima-tion虚拟角色的目的。类似于动作捕捉,记录用户的动作通过位置追踪器和数据手套。无论,记录运动抽象高级行动也表示,考虑用户交互场景对象。捕获操作后复制虚拟角色使用行为动画技术。自然生成的动画包括与场景对象的交互。作为进一步的优势,大小不一的行为可以通过虚拟角色repro-duced和身体pro-portions以及在任务环境不同的情况下从原始记录情况。
为了说明上述优势传统mo-tion捕获,考虑下面的示例的VR系统评估室内设计一辆汽车的虚拟样机。测试样机的设计,用户可能interac-tively模拟处理的方向盘,变速杆,无线电控制,和其他工具。对于人体工程学ana-lyzes,这些程序后由大小不同的虚拟人重复和身体比例。使用con-ventional动作捕捉,记录运动需要gdp8 %每个大小不同的虚拟人;尽管强大的方法提出了重新将步骤,例如基于时空约束[28],这一过程仍然需要一个显式建模工作以动画师[9]。复杂,加上现实主义——这个例子中,人体工程学分析可能会进一步揭示了缺陷汽车室内设计导致的重新定位仪器如汽车的原型。,再利用的动作捕捉的目标是学习行为,即虚拟现实的数据捕获用户如扭旋钮origi-nal地位仍应有效合成虚拟角色的动画时,旋钮的位置有了轻微的改变在未来版本的虚拟样机。的动作捕捉,旋钮的重新定位又需要gdp8 %的运动数据;相比之下,在动作捕捉,一个可重用的、抽象的动画命令如捻(knob-1)将扮演不可或缺的角色当合成所需的动画。动作捕捉的先决条件是一定程度的自治的虚拟人物。这样的动画方法近年来成为流行的电影和互动游戏的名义行为或交互式动画(22日27)。
注意,人类具有很强的学习行为转移到稍微不同的任务环境,详细的在上面的例子中。以下部分因此评价实证研究结果对人类模仿学习。
3所示。在人类和动物模仿
根据桑代克[26]模仿的方法是:“从一个行为见证了学习行为”1。模仿是一种强大的abil-ity人类和高等动物,使他们获得新的技能通过观察别人的行为。孩子例如能够学习一些社会be-haviors通过观察他们的父母。网球运动的学生可以学习如何做一个复杂的服务通过观察老师重复了几次。模仿使我们能够快速获得新技能没有经历一个漫长的试错过程。因此人类是非常灵活和自适应环境的变化。面对新形势、环境或文化我们可以快速学习一门技能的可能发展甚至生存的关键。为目的的介绍词ac-tion捕获在后面的章节中,我们将关注“行动”的模仿。阿尔贝勃方程后“action =运动 目标/期望”[3],“行动”我们指的是一个有目的的故意运动行为。
赞美上帝,Kuniyoshi[4]识别三个要求模仿的过程:
1。观察一个老师的行为是观察和处理。
2。表示动作通过一个内部的模型表示。
3所示。基于内部模型,建房、和环境,行动是复制的一个适当的变体。
观察的过程涉及到一个抽象步骤,它可以发生在不同程度的认知复杂性。例如,它可能包括解剖看到行动为sim-pler组件是模仿者的一部分的曲目的技能。在一个更高层次的复杂性,它涉及analyz-ing附带的相关环境信息的行动,如操纵的工具。在最高水平的复杂性,观察还包括“理解”的行为。在这里,模仿者推断认为行动背后的目标和意图。观察到的动作通过一个内部的模型表示。为此,从老师的身上映射到学生的身体已经被应用。每个身体的一部分教师必须放在re-lation学生自己的身体部位,这样内部模型之后可以用来复制观察ac-tion。在文献中,这被称为“通信问题”[18]。
皮亚杰关于儿童的模仿过程的研究导致了区分两种形式的模仿([20],[4]):保守的和真正的模仿。保守的模仿意味着模仿一个动作通过已经可用的行为。在一个更高的水平和真实的模仿行为
迈尔左夫和同事(见[16]和[21])研究了im-itative学习能力的婴儿,想出了一个四阶段的模仿能力。在第一阶段,一个所谓的身体呀呀学语阶段,婴儿探索它的身体和学习特定的肌肉运动实现elemen-tary身体如何配置。结果是一个婴儿的身体的内部模型。增加,婴儿学会一套电机之后原语可以被连接到实现复杂的运动。身体后牙牙学语阶段,模仿能力进展如下:
1。模仿肢体动作在这个阶段,婴儿使用它的身体部分模仿观察肢体动作或面部行为。首先他们激活cor-responding部位,然后他们正确模仿反应,直到他们聚集在精确匹配。
2。模仿对象的行为在这个阶段,婴儿学会模仿对象外部的操纵他们的身体。这包括play-ing玩具在各种语境下的。
3所示。意图推断这是im-itative学习的最高形式。它需要的目标和意图推断从他观察be-havior示威者。在这种情况下,即使是一个不成功的行动可以正确地模仿。
在身体动作的模仿阶段,孩子模仿观察一个人的运动映射到一个(或一组)的汽车原语。这种行为通常被称为“拟态”;仅仅复制运动指拥有相同的目的或目标。ac-tion模仿的对象阶段,婴儿学会操作任务。在这个阶段,模仿行为变得更加目标明确。尽管孩子不可能推断出兼容耗材的操作任务,它能够理解的基本步骤和任务在不同条件下繁殖。显然,这需要一个更复杂的in-ternal模型,在行为和对象之间的关系也存储。内部模型也必须足够复杂,包括被动对象的物理模型。例如,一个孩子可能会代表大ob-jects通常比小的重。最后,在最后阶段婴儿能理解行为和推断的目标和意图。在这种情况下,内部表示可能只包括目的而不是手段去实现它们。通过这样的高级模型代表一个动作使高generaliza-tion的能力。如果目标是清晰,甚至可以模仿一个动作在不同的上下文,如一个看不见的情况。
从上面的,它变得明显,模仿动作理解起着至关重要的作用。最近hypothe-sis在神经生理学文献表明,行动的理解和行动的执行是基于一个共同的神经基质。这个,所以称为“direct-matching hypoth-esis”里佐拉蒂和他的同事们提出的[23]因此积累的经验证据存在的反射镜系统在人类和猴子。镜子首次发现镜像神经元系统或更确切地说在一个部门的前运动皮层的猴子。有意思,这些神经元都当猴子看到一朵朵个人执行一个特定的行动,(生活)
图1:模仿的过程
当它执行行动本身。例如,当see-ing有人抓住食物,猴子激活相同的神经元,在另一种情况让它执行食物本身的理解。建立了第一次行动观察和行动ex-ecution之间的直接连接。也表明,镜像神经元只火与目标有目的的运动。他们不应对看到对象单独或模仿行动缺乏目标。这表明,“模仿和理解之间的区别是,在模仿中,ob-served法案不仅是内部表示,但也必须在外部体现“[23]。尽管这一观点被仍然de-bated神经科学文献,当然强调行动之间的紧密的关系的理解和模仿。
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[26014]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
