英语原文共 15 页，剩余内容已隐藏，支付完成后下载完整资料
基于深度轮廓的人类活动识别系统记录实时生活日志的智能家居服务
摘要
一个实时生活记录系统，使用摄像机提供监控、记录和识别日常人类活动，在智能家居中提供生活护理或医疗保健服务。这种基于视觉的生活记录系统可以提供对居民日常活动的持续监测和记录，从而获得日常生活事件的行为模式，提高特别是老年人的生活质量。本文提出了一种基于深度成像的人体活动识别的实时生活记录系统。利用深度成像装置来获取人类活动的深度轮廓。然后从剪影中提取人体点信息并用于活动识别，生成生命日志。该系统由两个关键过程组成，一个是生命记录系统的训练，另一个是运行训练过的生命记录系统来记录生命日志。在训练过程中，该系统包括从深度摄像机中收集数据，从每个深度轮廓中提取身体点特征，最后训练活动识别器（即隐马尔可夫模型）。然后，在训练之后，人们可以运行训练过的系统来识别学习到的活动并实时存储生活日志。利用传统主成分(PC)和氡变换特征的生命日志记录系统进行了评价，获得了较高的识别率。实时实验结果表明，该系统的可行性和功能性，可用于生成智能家居人类活动的生命日志。
1.介绍
在当今数字技术和智能系统的时代，自动化家庭监控系统的发展被用来识别居民的日常活动；帮助在家里独立生活的个人困难，并生成健康监测的活动日志信息。为了使家庭生活成为一个智能的生活空间，传感器技术（即视频和可穿戴传感器）是集成到其中，并以日志的形式存储用户的日常生活活动。生活日志是一种虚拟日记，包含个人在视频和可穿戴传感器范围内的日常活动信息，这些传感器可以嵌入到不同的应用设备中，如老年医疗保健服务[29]、安全监控[25]和智能家居[17]。
生命记录系统是指一种机制，通过人类活动识别(HAR)生成生命日志的机制，其中包含人类在室内环境（即智能家居、智能办公室和智能医院）中进行的日常活动。通常在HAR[28,34,22]中使用各种传感器，如运动传感器，视频传感器，或RFID。生命日志记录系统可以提供对居民日常活动的持续监测和记录[31]。因此，对于生命记录系统，HAR是关键过程之一。基于这些自动记录的生活日志HAR系统，人们可以检查活动事件的生活模式，通过分析日常习惯或行为来提高生活质量，并根据他们的生活方式[31]安排他们的生活事件，如睡眠时间、药物治疗、办公室时间或用餐。
生命记录系统已经使用了电子设备，如可穿戴运动传感器和视频传感器[1,21,13]。在基于可穿戴式运动传感器的系统中，运动传感器被连接到用户身上。然后记录并分析运动信号，以产生各种人类活动的特征。通过这些特性，可以执行活动识别来生成生命日志。可穿戴运动传感器技术已被广泛应用于生命记录HAR系统中的日常活动。Ward等人[33]提出了一种基于人体不同部位的麦克风和加速计的系统，以识别日常活动。然而，这些传感器需要电线连接，这使得传感器长期保持在其身体上，使受试者不安全。此外，由于传感器大小、电池寿命或复杂的物理运动等问题，大多数可穿戴传感器不适用于现实世界的应用场景。
在基于视频传感器的系统中，摄像机被放置在预定的区域，以收集包含居民活动轮廓的视频数据。这些轮廓产生的特征可以用于识别日常活动。在HAR上，已确认的活动被记录为生命日志。此外，视频技术还有更广泛的其他应用，如人的识别、人脸识别、多媒体内容和人体监控系统[26,11,18,2,19]。然而，由于视频技术在不同应用[26,9]中的重大成就，基于视频的生命日志HAR系统在研究界得到了广泛的关注。斯托夫和格里姆森[30]提出了一种系统，该系统可以从几个摄像机中捕捉视频来分析人类活动，然后将信息存储在日志数据库中。[32]等人描述了视频监控任务的不同算法，其中使用数码相机在大量人群中分析人类活动，并生成信息日志，以提高公共场所的安全性。在这些工作中，系统主要集中于二进制轮廓。然而，二值轮廓在其二值像素值（即0或1）中只提供有限的信息，因此，二值轮廓中的形状信息不能区分复杂的姿态，导致HAR较差。因此，提出了一种提供三维深度（即距离）信息的深度成像系统，通过该系统可以区分不同的身体部位，从而提高了识别精度。
本文提出了一种利用基于深度成像的HAR的实时生命记录系统。该系统包括训练程序和生命日志的实时识别。在训练阶段，使用深度摄像机可以捕捉到人类活动的深度轮廓。然后，从这些深度轮廓中提取身体点，并使用一组大小和方向角特征进行计算
用于训练HAR发动机。最后，在训练结束后，该系统通过训练后的隐马尔可夫模型(HMMs)来识别学习到的活动，并将生命日志信息存储在数据库中。
本文的其余部分组织如下。在第2节中，介绍了一些方法，其中包括；深度视频预处理、骨架建模、特征生成，然后进行活动建模、训练和使用HMM进行识别。在第3节中，考虑了传统方法和建议方法的实验结果。最后，在第4节中得出了这项工作的结论。
(a)
(b)
图1 建议的生命记录系统的总体流程：训练生命记录系统的(a)过程和使用训练后的(b)识别活动
2.方法学
2.1.建议的生命日志记录系统
我们的生命记录系统由深度轮廓序列、身体点特征生成和训练HMM组成。然后，使用训练过的HMM执行HAR例程，生成生命日志。图1为生命测井系统的整体风流量。图1(a)显示了如何使用特征数据并使用HMM进行训练，图1(b)显示了如何使用训练过的HMM进行识别，以及如何从识别的活动中生成生命日志。
2.1.1 深度视频预处理
最初，生活日志HAR系统从一个获取深度轮廓序列的深度摄像机中记录用户的每日日志活动。我们系统的输入传感器是一个深度相机Kinect，它为我们提供RGB图像和深度图像。而，每个人的轮廓都是由一个包含15个关节点[6,7,5]的刚性骨骼来描述的。我们使用OpenNI/NITE提供的人类跟踪系统来提取这个骨架。此外，我们应用背景减法程序，跟踪人体深度轮廓，并生成身体骨骼模型生成特征。而，我们定位场景中的不同对象，并通过计算深度值随时间[20,14]的变化来对它们进行分割。从每个大小为320x240的深度数据中提取人体的深度轮廓。图2(a)2(b)显示了行走和拍手活动的一些样本深度轮廓。
(a) (b)
图2 在生活日志HAR系统中使用的样本活动的深度轮廓
(a) (b)
图3 来自图中给出的每个轮廓的骨架2(a)和2(b)
(a) (b) (c)
图4 (a)深度轮廓，(b)骨骼身体部位标记，(c)包含15个关节的骨骼模型
2.1.2 骨架车身模型
对于每个活动，一个骨架体模型是由其各自的深度轮廓[7,14]产生的。在图3中，图2中显示了样本骨架姿态对应的深度轮廓。
骨架姿态与关节信息[15]合并。因此，骨骼姿势是由不同身体部位的关节来表示。图4(a)为深度轮廓，4(b)为15个身体部位关节向量设计的骨架模型，4(c)为4(a)。的骨架模型15个身体关节用块表示。此外，基于高斯轮廓机制进一步计算了肢体关节的位置，得到了肢体关节的8个中心点。因此，我们总共有23个身体点（即，15个来自骨骼关节，8个来自肢体关节的中心点）。
图5 来自身体各个部位的大小特征生活日志HAR系统的部分采样活动
2.1.3 用于特征生成的主体点
在特征生成过程中，对身体点进行进一步处理，生成运动参数[4]。身体点的运动参数由各自身体部位的23个身体点计算出来。表示每个身体点为(Jx、Jy、Jz)，来自连续两帧的运动参数的大小MJ[24,16,10]可以表示为，每帧的运动参数的大小，有23个身体点成为1times;23的向量，如图5所示。
(1)
连续两帧之间的体点DJ的方向角度可以表示为：
(2)
(3)
(4)
而使用方向角的身体点特征的运动参数的大小变成了一个1times;69的向量。图6显示了一组基于一些样本活动的方向性角度特征。
在获得身体点特征后，身体部位的23个身体点的大小变成一个1times;92的向量，用k-means聚类算法[27]表示，用于活动HMMs的训练。然而，每个序列生成具有重叠限制的生命日志，并由缓冲策略[8,23,12]维护。图7为训练特征向量序列进行识别的总体过程。
图6 从身体身体的各个点开始的方向性特征生活日志HAR系统的部分采样活动
图7 连续视频的分析框图体点特征，码本生成和符号选择
图8 训练后的手拍HMMs结构和转移概率
然而，一旦时间序列深度轮廓特征的采样人类活动被表示为符号，训练过的HMMs将在HAR中使用。图8显示了训练后的一只手拍手HMM的结构和转移概率。为了识别一项活动，所有经过训练的HMM计算它们的可能性，并选择一个具有最高概率[3]的活动。
(5)
其中决策是基于相应训练活动的可能性。 因此，本文的主要贡献是：深度轮廓处理基于运动特征的HAR系统，该系统对人类被试的不同大小和位置是不变的。此外，实时HAR系统还在单个平台上提供了活动识别功能和属性。此外，我们提出的系统在其他传统系统中提供了最佳的识别率。
2.2 培训生命日志记录系统
在训练过程中，利用技术成分(即深度视频预处理、运动参数特征和训练HMMs)，使用一组采样的活动数据对系统进行训练。
2.3 运行生命周期日志记录系统
经过培训后，我们的生活日志记录系统可以通过识别学习到的日常活动来生成生活日志。在生活日志中，可以记录步行或挥手、时间和位置信息等活动类型。
3.实验结果
在本节中，首先考虑了实验设置。然后，介绍所提出的生命记录系统的接口，然后将识别的活动与地面真实结果进行实时比较。最后，对传统系统的识别结果进行了比较。
3.1 实验设置
为了获得深度视频录制，一个深度摄像头被固定在智能家居环境的顶角。为了训练该系统，我们利用7个不同的主题，建立了智能家居中六种最常见的人类活动的深度剪影数据库。每个活动都以一个20帧的视频剪辑来表示。每个活动共计45个片段用于构建训练数据：整个训练数据总共包含5400个活动深度轮廓。在测试中，所有6项活动都是随机执行和识别的，从而产生生命日志。然而，所有的实验数据集都是在常规的室内环境中收集的，在受试者和摄像机之间3米的特定范围内，没有身体遮挡身体。所提出的实时生命日志记录方法在智能家庭环境中有效地集成，而没有显著增加计算量，并在实时环境中以每秒11帧的帧率运行。
3.2 生命日志记录系统的培训界面
训练界面包含使用HMM进行数据收集、特征生成和训练。最初，数据收集包括：深度贴图、深度轮廓和每个骨骼的关节位置。然后，计算身体点特征并用于训练hmm，如图9所示。
图9 所提出的实时训练数据采集接口
生命记录系统
图10 利用训练有素的生命日志记录运行接口
HMM和生成生命日志，如底部所示
3.3 生命日志记录系统的运行接口
要运行生命日志系统，可以激活训练好的生命日志系统，如图10所示。然后，使用训练有素的hmm识别所学习到的活动，并将已识别到的活动存储为生活日志，包括活动名称、时间、日期和在生活日志数据库中出现的次数。一旦识别出一个活动，生命日志数据库就会得到更新。
此外，该系统还分析了监测不同受试者在一天中一定时间内的日常生活活动的连续视频数据，并分析了传统方法和所提出的方法的性能。
图11显示了使用主成分(PC)特征方法[21]对智能家居活动的连续视频对具有深度轮廓的地面真相的识别。这些PC特征处理了活动形状轮廓的全局表示，并降低了输入特征空间的维数。然而，由于全局特征和降维，这些特征并不能导致理想的识别性能。结果表明，锻炼、烹饪、吃药、拍手等活动没有被正确识别，导致识别率较低。
图11 实时识别的智能家居活动使用
基于PC功能的方法
图12 实时识别的智能家居活动使用
基于Radon特征的方法
图13 实时识别智能家居活动的使用和生活
基于所述体点特征方法的测井系统
而图12显示了使用Radon特征方法[21]对连续深度数据的识别。然而，这些特征计算了所有家庭人类活动沿指定视图方向的深度剪影的二维投影。这些投影建立了由深度坐标产生的域和氡域之间的映射。然而，与PC特征相比，一些活动被正确地分离出来，但活动之间的某些重叠导致了识别率的降低。
图13显示了所提出的生命记录方法的识别结果，该方法在所识别的活动与地面真实值之间提供了更一致的匹配。此外，它还提供了优于传统方法的识别率（如表1所示）。
图14 利用PC特征、雷达特征和所提出的身体点特征的智能家居活动的实时识别结果<!--
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[604000]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
