With the rapid popularization of computer and Internet, the quality of people#39;s life has been improved and various intelligent equipment layers have been raised
Human computer interaction has become an important part of daily life. Traditional human-computer interaction side
The machine takes the machine as the main body, mainly relies on the mouse, keyboard, scanner and so on the mechanical rigid hardware equipment to carry on the information
Input requires humans to adapt to the machine. In the process of interaction between human and computer, the human body should be taken as the main body,
Let the computer to adapt to people#39;s communication habits, and truly reflect the 'people-oriented' concept. A natural and harmonious person
Machine interaction mode should be based on direct manipulation, hand gesture recognition conforms to this trend and has become human-computer interaction
Research focus.
This chapter introduces the definition and classification of gesture recognition, and then systematically studies the gesture recognition process involved
Key technology, which provides a theoretical basis for the gesture recognition algorithm in smart home system.
3.1 definition and classification of hand gesture recognition
In a narrow sense, gestures are gestures or actions produced by hand or hand gestures. From Guangzhou
In the sense of gesture, gestures include gestures or actions formed by a person#39;s whole body, as well as human gestures and expressions. In person
In addition to the use of natural language, appropriate gestures can further facilitate communication, as well as communication
Add to persuasion. As long as it is agreed, all kinds of gestures or movements can be used as gestures and gestures
Passing some information, some careless actions, also belong to the realm of gestures, but meaningless. hand
There are many kinds of potential, and the whole can be divided into two types: static gesture and dynamic gesture. Static gestures refer to
The spatial stance of a hand at some given moment, such as the shape of the hand, the angle of the joint, and the relative position of the body, such as the erect position of the hand
A gesture of thumb or gesture than a scissors hand. A dynamic gesture is a coherent movement of the human hand over a period of time
Compared to static gestures, temporal features are increased, such as hand gesture changes, motion trends, and motion trajectories.
Gesture recognition refers to the analysis of gestures by a machine and the gestures of gestures. Computer is
Mechanical, can not automatically gesture recognition, need to use sensor technology to collect gestures
And then gesture recognition.
3.1.1 gesture recognition based on data glove
In order to use gestures in human computer interaction, in order for computers to recognize these gestures, they must first be obtained
Gesture data. It is proposed that machines can be used to synchronize the movements of the hands and even other parts of the body
Gesture recognition in data glove is an attempt. Data gloves are usually made of flexible material
A number of sensors are used to measure the degree of curvature and joint angles of the finger, together with a three-dimensional tracking device
Acquire the space information of the motion track and direction of the hand. Then, the collected information is extracted
Feature extraction, to achieve the purpose of hand gesture recognition. CyberGlove II type data glove. Zhou Xiaojing
Gesture data are acquired by data glove, and virtual object crawl is realized by computer analysis. The gesture recognition system based on data glove has the advantages of small input, high speed and high recognition rate. It can directly obtain 3D motion information of human hand, and can support a variety of hand gesture recognition. But this approach requires users to wear complex, bulky data gloves and position tracking
The device brings great inconvenience to users, and can not obtain user#39;s expression and whole body movement. This hinders
The user interacts with the computer conveniently and naturally.
3.1.2 gesture recognition based on touch screen
With the popularity of smart phones, tablet PCs and other mobile terminal devices with touch screens, touch-screen
Gesture recognition technology based on touch screen has become an important lesson for human-computer interaction
Questions. The first touch screen is the resistive screen, in use, gesture input and mouse, keyboard and other input devices
Be similar。 With the advent of multi touch technology, touch screens can provide users with more and more natural interfaces
Interactively, touch screens can support more complex gesture input, such as sliding the phone to the mobile phone screen
Lock. Gesture based input and recognition are very intuitive, but this approach requires user contact screens
Most of the gestures are based on fingers, and the gestures of other parts of the body are difficult to identify. By comparison
Next, the non-contact way is more widely applied and more natural and harmonious.
3.1.3 hand gesture recognition based on accelerometer
Acceleration sensors can be used to measure acceleration, and gesture recognition based on acceleration sensors refers to acceleration
A speed sensor is used to obtain the direction, velocity and deflection angle of the hand movement so as to achieve the goal of hand gesture recognition
Twenty-three
Wanfang Data
Research and implementation of smart home system based on gesture recognition
The. Nintendo Co launched the Wii game controller, through the acceleration sensor for the game handle, access to play
Home gestures to achieve control of the game. Mobile phone users use acceleration
全文共18231字，剩余内容已隐藏，支付完成后下载完整资料
随着计算机和互联网的迅速普及，人们生活质量的提高，各种智能设备层
出不穷，人机交互活动愈发成为日常生活的重要组成部分。传统的人机交互方
式以机器为主体，主要靠鼠标，键盘，扫描仪等机械呆板的硬件设备进行信息
输入，需要人类去适应机器。在人与计算机的交互过程中，应该以人为主体，
让计算机来适应人的交流习惯，真正体现“以人为本”的理念。自然和谐的人
机交互模式应该是以直接操控为主，手势识别顺应这个潮流，已成为人机交互
研究的热点。
本章介绍手势识别的定义和分类，然后系统研究手势识别过程中涉及的关
键技术，为后文智能家居系统中手势识别算法的提出打下理论基础。
3．1手势识别的定义和分类
从狭义上来看，手势是指人手或者手语手臂结合产生的姿势或动作。从广
义上看手势还包括人整个身体形成的姿势或动作，以及人的神态表情等。在人
际交往过程中，除了使用自然语言，适当的手势能进一步促进沟通交流，也能
增加说服力。只要进行约定，各种各样的姿势或动作都能作为手势，手势可以
传递一些信息，一些不经意的动作理论上也属于手势的范畴，但毫无意义。手
势种类繁多，整体上可以将手势分为静态手势和动态手势两类。静态手势指在
某个时刻手的空间姿态，如手的形状、关节角度和身体的相对位置等，如竖起
大拇指或比出剪刀手等手势。动态手势则是由一个时间段内的人手的连贯动
作，相比静态手势增加时空特性，如手的姿态变化，运动趋势和运动轨迹等。
手势识别是指机器对手势进行分析，识别手势表达的动作姿势。计算机是
机械呆板的，不能自发的去进行手势识别，需要利用传感技术来采集手势数
据，进而进行手势识别。
3．1．1基于数据手套的手势识别
为了在人机交互中能使用手势，为了让计算机识别这些手势，首先要获取
手势数据。人们提出利用机器来同步获取手部甚至身体其它部分动作姿态，基
于数据手套的手势识别就是一种尝试。数据手套通常由弹性材料组成，上面安
装一些传感器，可以测量手指的弯曲程度和关节角度，同时结合三维跟踪装置
获取手的运动轨迹、运动方向等空间信息。然后对采集到的这些信息提取进行
特征提取，达到手势识别的目的。的CyberGlove II型数据手套。周晓晶利
用数据手套获取手势数据，通过计算机分析，实现了虚拟物体抓取等动作。基于数据手套的手势识别系统输入数据量小，速度快，识别率高，能直接获取人手的三维运动信息，并且可以支持多种手势的识别。但是这种方法要求使用者穿戴复杂笨重的数据手套和位置跟踪
器，给用户带来了极大的不便，而且不能获取用户的表情和全身动作。这阻碍
了用户与计算机方便自然的交互。
3．1．2基于触摸屏的手势识别
随着智能手机，平板电脑等带有触摸屏的移动终端设备的普及，触摸屏成
为人机交互的重要实现方式，基于触摸屏的手势识别技术成为研究的重要课
题。最早的触摸屏是电阻屏的，在使用时手势的输入与鼠标、键盘等输入设备
相似。随着多点触摸技术的出现，触摸屏可以为用户提供更多，更自然的交
互方式，触摸屏可以支持更多复杂手势的输入，如滑动手机对手机屏幕进行解
锁。基于触摸屏的手势输入和识别非常直观，但是这种方法需要用户接触屏
幕，而且大多数手势是基于手指的，人体其他部位手势形态很难识别。相比之
下，非接触的方式应用更广，也更加自然和谐。
3．1．3基于加速度传感器的手势识别
加速度传感器可以用于测量加速力，基于加速度传感器的手势识别是指利
用速度传感器获取手运动的方向，速度，偏转角度，以此达到手势识别的目
23
万方数据
基于手势识别的智能家居系统研究与实现
的。任天堂公司推出的Wii游戏控制器通过加速度传感器作游戏手柄，获取玩
家的手势，实现对游戏的控制。手机用户利用加速度传感器，使用微信摇一摇
功能，结交更多的朋友。像基于数据手套的手势识别一样，用户需要拿着角速
度传感器，非常不方便，并且这种输入很容易受干扰，实用性比较有限。
3．1．4基于视觉的手势识别
基于数据手套，加速度传感器或触摸屏的手势识别技术都要求用户与数据
采集设备接触，需要用户进行配合，而且造价昂贵，具有很大的局限性。基于
视觉的手势识别联合使用一个或者多个摄像机获取视频图像数据，分离出手
势信息，采用数字图像处理分析和计算机视觉的方法分析识别手势信息。常红
等利用计算机技术，采集手势图像，获取RGB信息，根据标识点该类方法的
颜色判断标识点位置，实现手势识别。出优点是解放了人手，不需要人拿着手
势采集设备，使计算机与人的交互更加自然化。本文着重研究基于视觉的手势
识别技术，提高手势识别的正确率，让其更好的应用与智能家居系统中。
32．手势识别关键技术
基于视觉的手势识别可分为手势数据采集，检测分割手势、跟踪定位、特
征提取和分析识别这五个过程。首先利用摄像头采集手势视频图像信息，然后
从视频图像中检测分割出手势区域。如果是动态手势，还需要不断跟踪定位，
获取手势时间和空间特征。通过分析获取到的手势数据提取特征值，设计分类
器将待识别的手势与训练好的模版手势的特征值进行分析匹配，确定出不同的
手势类别。计算机识别出手势时，根据预先的设定，执行相应的操作，实现人
机交互的目的。
3．2．1数据采集
手势识别的第一步是采集手势数据，不同的手势识别技术采集手势数据的
方式也不同。基于视觉的手势识别利用一个或者多个摄像头获取视频图像数
据，如今市面上有很多高清晰，高精度的摄像设备，如Kinect传感器。
Kinect是微软提出的一种三维体感摄像传感器，它不仅可以获取彩色图像
信息和深度图像信息，还可以获取用户的骨骼流数据，同时还支持麦克风语音
输入和语音识别。XBox 360和Xbox One就搭配了Kinect传感器，用户可以通 ，4
过手势实现对游戏的操控。Kinect传感器配备有RGB摄像头红
外线发射器和红外线接收器，可以获取深度图像信息，Kinect有自动追焦的功
能，底座马达可以左右转动28度，可以随着对焦物体移动而跟着移动。Kinect
也内建阵列式麦克风用于采集声音信息，进而语音识别。
(1)深度图像产生的原理
Kinect可以测量它与识别空间物体之间的距离。Kinect可以生成深度图
像，它的深度图像获取系统包括一个红外线发射器和红外线接收器，红外线发
射器可以产生830纳米的红外射线，它是一种结构光。根据结构光的特性，
Kinect发射出红外线，对识别空间进行编码，红外线接收器感应编码到的光
线，产生一张深度图像。Kinect发出的射线具有高度的相干性，当它照射到
粗糙不平的物体时，会产生激光散斑(1aser speckle)，激光散斑随机性高，
会随着距离变化出现明显不同的图案，也就是说，在空间中任何两处地方的散
斑图案都不同，等于是将整个识别空间加上了标记，任何物体在识别空间中移
动，Kinect都可检测到。
Kinect另一核心技术在于光源标定，首先进行光源标定，记录原始空间
的激光散斑图案。具体操作是每隔一段距离就选取一个参考平面，记录参考平
面上的激光散斑图案，选取的间隔越小，识别的精度越高。测量时选取一幅待
测场景的散斑图案作为参考，将记录下来的各参考平面散斑图像与选取的参考
图像进行比较，得到相关度图像：在相关度图像上，有物体存在的地方就会显
示峰值，对这些峰值进行叠加和插值运算，就能获取物体的形状(2)骨骼点追逐技术
Kinect传感器发出的红外线不受周围的光照环境影响。它使用黑白光谱感
应物理与设备间的距离，颜色越黑表明物体距离越远，颜色越白则表明距离越
近，中间的灰色部分表示Kinect传感器与物体的距离。Kinect传感器以每秒30
25 ．厶J
万方数据
基于手势识别的智能家居系统研究与实现
帧的速度发射红外线，采集识别空间物体各部分与Kinect传感器的距离信息，
形成3D深度图像
图3．3 Kinect获取人体骨骼框架图 Fig．3．3 Skeleton joints acquired by Kinect sensor
在Kinect传感器中，可以将人体骨骼框架表示为20个主要骨骼关节点，
Kinect传感器可以同时检测出六个人并对两个两个人进行跟踪。Kinect可以获
取识别空间内人体的深度图像，去除背景后，利用机器学习的方法，与存储的
人体部位图像库进行比较分析，识别图像中某个特定像素可能属于的人体部
位，达到骨骼关节点识别的功能。
3．2．2检测分割
手势检测分割是指从手势视频图像中去除背景，检测分割出感兴趣的手部
区域。检测分割是手势识别过程至关重要的一个环节，主要包括两部分：一是
检测定位，分析手势视频图像，判断是否存在手势、确定手势所处区域；然后
是手势分割，去除背景，把手势区域从视频图像中提取出来。
常用的手势检测分割方法有很多种，包括肤色分割、背景减除，模板匹配
等。肤色分割一种常用的手势分割方法，颜色是图像的最为重要的视觉特征，
物体颜色在颜色空间中的分布是比较集中于某个区域的，人的肤色一般情况下
与背景颜色存在较大的差异。可以根据肤色在颜色空间上的分布特征，来对皮
肤区域进行识别，这样就能分割出手势区域了Michal J．Jone和James M．Rehg。
通过研究人体肤色在颜色空间的分布规律，在分析统计大量人体肤色图片的基
础上建立了肤色分布通用模型。陶霖密，彭振云等使用ILHS颜色空间对
手势图像进行聚类分析，取得了不错的分割效果。
还可以通过减除背景来检测分割手势区域。保持背景完全静止不变，通过
对背景图像进行分析建模来获取背景图像的像素特征，然后分析对比手势图像
与背景图像的像素特征，找出有差异的部分，就能获取手势区域。
基于模板匹配的方法首先构建一个模型来训练参考模板，然后根据参考模
版在整个图像中匹配检测相似的区域，检测过程中缩放模版或图像的尺寸比
例，可以确定图像中是否存在做出定义手势的人手。
3．2．3跟踪定位
对于动态手势来说，需要对人手进行跟踪，因为它的空间位置会随着时间
变化，跟踪手势可以方便获取更多的手势空间信息，比如运动轨迹，手势起始
位置和结束位置等。手势的跟踪目前采用比较多的算法主要有CAMSHIFT算法
、基于光流的KLT跟踪算法、粒子滤波器算、法。邓秀茂提出一种粒子
滤波器算法，使用PF2MS算法对预测的粒子使用均值漂移进行局部优化，取得
了很好的跟踪效果。冯志全，杨波等以优化时间为目标，设计的基于状态变
量微观结构的电子滤波器，极大的降低了粒子的速度，提高手势跟踪的效果。
Jubao Qt411提出结合高斯混合模型和CAMSHIFT算来跟踪人手。
3．2．4特征提取
采集到手势数据后，要对数据进行分析处理，手势包括很多种特征，如手
指的弯曲程度，关节点的相对位置等，对于不同类别的手势，其特征值也不
同。手势特征提取环节是手势识别过程中关键步骤，首先要选择合适的特征用
基于手势识别的智能家居系统研究与实现
于区分不同手势，特征选取不好，不管怎么设计手势识别算法，都不能有高的
识别效率。选择特征的原则有：
(1)当手势的类型相同时，选取的特征要相同或相似
(2)当手势的类型不同是，选取的特征要明显不同。
(3)对于同一类手势，改变其尺寸大小，方向或位置，识别出的结果一样。
静态手势的特征有以下几类：
第一类是基于手势几何形状的特征，主要有统计矩特征和轮廓线特征两
种。统计矩特征有Hu矩、Zemik矩等。基于轮廓线的特征，包括轮廓质
心，轮廓外接圆，轮廓周长和面积等。提取手势的外围矩形，手势方
向，手势周长，手势面积特征，采用基于欧式距离的模板匹配算法进行手势识
别。
第二类是基于手掌手指结构的特征。Lindeberg[441提出使用scale-space特征
来获取手势几何结构。
第三类采用原始图像像素值作为特征。
第四类对原始图像做数学变换，如小波变换、Gabor变换1461，DCT[471
等，将变换后的系数作为手势特征。赵超君提出一种基于组合矩和小波变换
的匹配方法，具有较高的鲁棒性。
最后一类是一些统计的特征，这类特征统计图像中灰度变化，纹理特征，
梯度分布等。
对于动态手势识别，除了可以把各时间帧的静态手势识别结果作为特征，
还需要提取与运动相关的
全文共5840字，剩余内容已隐藏，支付完成后下载完整资料
资料编号：[143031]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
