英语原文共 5 页，剩余内容已隐藏，支付完成后下载完整资料
2019第11届国际测量技术与机电一体化自动化大会（ICMTMA）
一种基于多人脸特征的疲劳驾驶检测方法
方斌、徐硕、冯晓峰
湖南警察学院交通管理系，长沙，中国，410138
电子邮件：邮箱：aifudi@163.com
疲劳驾驶已成为交通事故的主要原因之一。当驾驶员感到疲劳时，会表现出不同的疲劳状态和行为特点。综合分析驾驶员的多状态特征，可以有效地提高疲劳检测的准确性和准确性。首先，对疲劳行为如眨眼和打哈欠等进行定量分析，然后基于图像识别算法得到相应的特征值。最后，对疲劳等级进行分类，提出了一种多人脸特征融合算法。给出了不同疲劳特性的权重并进行了综合计算，得出了最终的疲劳判断决策。实验实践证明，该方法是有效的。
关键词-疲劳驾驶；面部特征；眼睑闭合度；眨眼检测；面部特征融合
Ⅰ.导言
根据世界卫生组织（WHO）提供的2018年最新统计数据，全球每年约有135万人死于交通事故[1]。疲劳驾驶是造成交通事故的主要原因之一[2]。为了减少交通事故的发生，疲劳驾驶检测与预警技术作为重点研究课题，已经从三个方面展开：疲劳驾驶基于生理信号（脑电图、心电图、脉搏等）的检测，基于车辆参数（速度、加速度、方向盘横向位移、制动踏板、档位）的疲劳驾驶检测和基于驾驶员生理反应（头部倾斜程度、眼睛闭上频率、驾驶员打哈欠状态）的疲劳驾驶检测[3-6]。
从实际应用的角度来看，三种疲劳检测方法各有优缺点。基于生理信号的疲劳检测方法的优点是能够通过采集生理数据准确判断驾驶员的状态。但在实际操作过程中，需要为驾驶员配备一些检测设备，特别是一些可穿戴设备，如脑电波检测、心率检测等。这将干扰驾驶员的正常驾驶过程。另外，一些设备的使用更为严格，遇到路面颠簸时，可能会导致设备松动，从而影响数据采集的准确性。
基于车辆参数的疲劳检测方法主要是通过车辆偏离车道、方向盘突然转动、突然加速等行为模式来判断驾驶员的状态。所使用的传感器设备不需要与驾驶员直接物理接触，从而避免了对驾驶员的干扰。然而，这种方法受自然环境或道路条件的影响很大。当道路标线不清晰或外部照明环境不好时，可能检测不到偏离车道等疲劳驾驶行为。
因此本文主要研究基于驾驶员生理反应的检测方法。它提供了关于困倦的最准确的信息。这个这种方法不需要驾驶员直接佩戴，通常只需要在驾驶员面前安装一个摄像头，因此不影响驾驶员的状态，所以驾驶员会对这种方法感到非常舒适。道路状况等环境因素不会影响该系统。为了提高疲劳检测的有效性和准确性，本文主要对人脸的三个特征进行了研究，包括眼睑闭合度，眨眼和打哈欠。
Ⅱ.多面特征
驾驶过程中出现疲劳时，会有打哈欠、眨眼甚至小睡等生理反应。单纯以某一生理现象来判断驾驶员是否疲劳是不全面、不准确的。
A.眼睑闭合度和眨眼检测
眼部疲劳试验是一种很好的检测疲劳的方法。眼睑闭合度（平均闭眼速度）是指某一时刻的闭眼时间百分比，PERCLOS是Wierwille根据1994年在驾驶模拟器上的试验建立的一种参数fbr疲劳检测方法。它被定义为1分钟内闭眼时间的比例。眼睛封闭有70%、80%和完全封闭三种标准，80%标准效果最好。研究结果表明，PERCLOS代表的是缓慢的眨眼，而不是快速的眨眼。它可以看作是对疲劳心理状态的强烈反应。图为PERCLOS检测示意图，只要得到T1值，就可以计算PERCLOS值。图2是使用华硕eyeX Tobii眼动跟踪器进行眼动跟踪的结果图。
感觉疲劳时的另一种正常生理现象是眨眼，眨眼是人快速关闭和重新打开眼睛的动作。眨眼的两个主要参数是：频率和持续时间。正常情况下，成年人每分钟眨眼10-18次，平均时间间隔为4-5秒。《Work》[7]发表了一个假说，认为眨眼频率会因负面情绪、压力、紧张、疲劳、负面情绪、疼痛、无聊而增加。眨眼的持续时间取决于个人，通常约为100-400毫秒。
许多不同的方法已经被开发用来进行眨眼检测。通常，眨眼活动由单个图像或视频序列中的多个后续帧检测。检测程序有三种步骤：脸部检测，眼睛区域检测和眨眼检测。目前，人脸目标探测器被提出来完成任务的前两个阶段。典型的检测器有回归CNN（RCNN）、Dlib、Libfacedetect和Seetaface等[8-10]，这些人脸标志检测器能够准确地捕捉人脸图像上的特征点。此外，这些检测器在不同的数据集上训练，因此它们对不同的照明、不同的面部表情和适度的非正面头部旋转具有鲁棒性。很多方法已经被提出用于眨眼检测的第三步。
本研究提出利用Dlib方法来定位眼睛和眼睑的轮廓[11]。从人脸图像中检测到的标志点出发，我们推导了眼睛宽高比（EAR）[12]作为眼睛张开状态的估计。由于每帧EAR不一定能可靠地识别眨眼，因此训练了一个考虑到帧的较大时间窗口的分类器。对于每一帧视频，都会检测到眼睛的标志点。计算眼睛高度和宽度之间的眼宽比（EAR）由此而来。
其中p1-p6是二维目标位置，如图1所示。
图1 睁眼和闭眼目标位置
当一只眼睛睁开时EAR值基本上是恒定的，因为眨眼是由两只眼睛同时进行的，所以两只眼睛EAR值是平均的。图2中显示了视频序列中多个帧上EAR信号的示例，红色矩形框中的曲线表示眨眼行为。
图2 一个视频的几帧中的一次眨眼序列
B.哈欠检测
疲劳驾驶的另一个典型特征是打哈欠。很多研究人员提出，打哈欠可以被视为一种生理现象来判断司机是否疲劳，并提出了许多相应的认识算法。其中一些方法速度慢、耗时长，而另一些方法在打哈欠时对嘴区的分离不太准确。
当打哈欠时，嘴巴形成的闭合区域与脸部其他部位的图像特征有明显区别。为此，首先采用K-means聚类算法[13]对驾驶员的嘴部轮廓进行识别，然后提出一种基于双门限法的哈欠识别算法作为判断驾驶员是否疲劳的条件。
K均值聚类算法首先随机选取K个对象作为初始聚类中心，然后计算每个对象与每个种子簇质心之间的距离，并将每个对象分配给最近的簇质心。簇质心和分配给它们的对象表示一个簇。一旦分配了所有的对象，每个簇的簇质心将根据簇中现有的对象重新计算。此过程将重复，直到满足终止条件。
利用K-means聚类算法对不同区域的人脸图像进行分类时，可以从图像像素亮度强度的角度进行扩展。利用图像亮度直方图的频率来分割图像中不同的特征区域。根据这种分类，像素最多可分为255个簇。本文提出的聚类数目为5到lO个。用K均值聚类算法对图像进行分类后，可以得到嘴的位置信息，识别结果如下：
图3 嘴部位置检测
在获取嘴巴位置的同时，一种基于双阈值的哈欠检测方法便产生了。首先，当驾驶员打哈欠时，司机的嘴会张开到一定程度；然后，张嘴现象会持续一段时间。在此基础上，双阈值哈欠检测算法产生了，该算法包括两个步骤：
第1步：公式1用于计算张口度，如果的值达到阈值，则进入第2步。
然后，H和L分别表示开口后的嘴的宽度和高度，如图5所示。
图4 嘴部位置检测
第二步：统计张口度超过时的连续帧数（或连续时间），如果连续帧数超过阈值，则认为驾驶员处于疲劳状态，否则，可能是一个惊喜或大声说话，促使嘴巴张开。
图5 张口检测
Ⅲ.多人脸特征融合
在获得各种人脸特征后，为了更准确地判断驾驶员的疲劳状态，需要对这些人脸特征赋予不同的权重，将其划分为不同的层次，并进行多人脸特征融合计算。
A.疲劳评价指标
个体疲劳指数参数存在个体差异，但在一定范围内有一定的分布规律范围。可以认为，各疲劳指标参数值在各自的秩内呈正态分布。采用定量控制的方法分析了不同疲劳指标的上下限，即上下限控制在平均值的三个标准差以内。根据文献[14]的研究，将三个疲劳评价指标参数分别划分为四个等级，如表1所示。
表1 疲劳评定等级
|
范围 |
眼睑闭合度 |
眨眼（持续时间/毫秒） |
打哈欠（频率/分钟） |
|
无疲劳 |
lt;0.1 |
lt;400 |
lt;1 |
|
轻度疲劳 |
0.1-0.3 |
400-600 |
1 |
|
中度疲劳 |
0.3-0.5 |
600-800 |
2 |
|
严重疲劳 |
0.5 |
gt;800 |
3 |
B.多人脸特征融合算法
在获得基于面部特征的疲劳评价指标后，为了进一步准确地确定疲劳状态，需要对这些指标赋予不同的权重，将其划分为不同的层次，并进行融合计算。疲劳特征指标的融合计算过程如图6所示。
图6 多人脸特征检测流程图
首先，采用归一化方法对表1中的疲劳评价指标等级进行归一化。本研究采用指数法，计算指标的最大值与最小值之差，结果在0与l之间，具体计算公式如下：
在上述等式中，为评价指标的标准分，为评价指标的值，和分别表示评价指标的最大值和最小值。
经过上述标准化处理后，将原始数据转化为无量纲评价值。不同疲劳程度的等级依次用数值表示为允许值：0.1、0.3、0.7和l。根据试验数据和现有研究结果[14]，对不同的疲劳指标赋予不同的权重。
PERCLOS是应用最广泛、最可靠的评价指标。PERCLOS的权重确定为1，平均闭合时间指数的权重确定为0.8，哈欠频率指数的权重确定为0.5。
在计算疲劳综合值时，首先计算单个评价指标的疲劳值，然后将相应的权重乘以单个疲劳值，最后将三个疲劳评价指标相加，得到最终的疲劳综合等级价值。当综合疲劳等级值为0～0.23，判定为非疲劳，0.23～0.69为轻度疲劳，0.69～1.61为中度疲劳，1.61～2.3为重度疲劳。
Ⅳ.疲劳检测模拟实验
为了验证基于多人脸特征融合算法的疲劳检测方法的有效性，在matlab2012a环境下进行了仿真实验，实验的硬件环境为内核CPU T7100，内存4GB。
首先由摄像机捕获驾驶员的面部，提取背景和前景类，然后对提取出的人脸部分进行fbr分割。然后利用上述算法观察驾驶员的眼、口状态，最后调用多人脸特征融合算法对驾驶员的状态进行综合判断。
图5 疲劳状态试验结果
Ⅴ.结论
为了有效地检测驾驶员的驾驶状态，提出了一种基于多人脸特征融合算法的疲劳检测方法。为驾驶员提供各种面部特征，包括视线、哈欠、眨眼。通过对多人脸状态的综合分析，可以提高驾驶疲劳检测的可靠性和对不同环境的适应性，为相关领域的研究提供一定的参考。
本文还存在一些不足之处。（1） 只是一种基于多人脸特征形成的驾驶疲劳监测设计方法，缺乏对实际城市道路环境下实际驾驶的验证；（2）多人脸特征的权重系数是根据经验给出的，没有充分考虑驾驶员之间的差异。
致谢
该项工作得到了湖南省教育厅优秀青年计划项目（批准号l7B087）和湖南警察学院博士研究生项目（批准号2016ZX03）的资助。
参考文献
[1] World Health Organization. World Health Statistics 2018[M],2018.
[2] Shen Yongzeng, Hu Lifang, Feng Jimiao.Multi- S ource Information Fusion Application to Driving Fatigue Detection [J].Computer Applications and Soflware,2012, 29(2):272-274.
[3] Jap B T, Lal S, Fischer P, et al. Using EEG spectral components to assess algorithms for detecting fatigue[J]. Expert Systems with Applications An International Journal, 2009, 36(2):2352-2359.
[4] Rongrong F U, Wang H. DETECTION
剩余内容已隐藏，支付完成后下载完整资料
资料编号：[257712]，资料为PDF文档或Word文档，PDF文档可免费转换为Word
以上是毕业论文外文翻译，课题毕业论文、任务书、文献综述、开题报告、程序设计、图纸设计等资料可联系客服协助查找。
