熊猫科技 · 以技术创新驱动运动科学发展
一种车辆驾驶员疲劳监测预警系统及方法与流程
输入关键词，如黄金提取，余热利用，硝化废酸回收等后点击搜索进行检索技术资料
导航：X技术最新专利计算;推算;计数设备的制造及其应用技术
本发明针对驾驶员疲劳驾驶导致交通事故的问题，提出基于PERCLOS量化指标的个性化监测方法。通过人脸检测、特征提取与个性化数据库比对，实时分析驾驶员眼部状态、头部姿态及注意力分布，结合多维度疲劳判定规则实现精准预警，提升不同环境及个体差异下的检测适应性。
本发明涉及安全监控技术领域，特别是涉及一种车辆驾驶员疲劳监测预警系统及方法。
随着社会经济的高速发展，汽车数量以及驾驶员数量的迅速增加，汽车给人们生活带来便捷的同时，也引发了许多交通事故。交通安全已经成为社会长期关注的一个热点。疲劳驾驶是引发重大交通事故的重要原因，其引发的重大交通事故占事故总量的40％以上。因此，如果能够检测出驾驶员的疲劳状态并提前预警，则可以一定程度上降低由疲劳驾驶引发的事故发生率。该预警措施也为构建和谐社会提供了保障。
疲劳驾驶监测是一种对行驶过程中驾驶员生理心理及车辆行驶状态等特异性指标进行检测，并确定驾驶员是否疲劳驾驶的手段。目前普遍接受的检测方法主要有如下两种方式：
1)利用生理传感器检测驾驶员的生理变化指标,如脑电、心电、心率、呼吸、肌电等；
2)利用车载传感器检测驾驶员驾驶行为及其产生的车辆行驶状态变化特征，如转向、油门、档位、刹车，及车速、加速度、车辆在车道中的位置等；
上述疲劳检测方法中，生理指标可以最准确的检测出驾驶员疲劳度，但该方法需要在驾驶员身上安装生理信号传感器，限制约束了驾驶员正常的驾驶动作和姿态，无法在实际场景中大范围应用。
以车辆行驶信息作为疲劳度检测的方法，仅需利用车上现有传感器。但该方法只在疲劳程度严重到即将发生事故的时候才能起到预警作用，滞后程度高，无法在疲劳驾驶处于早期状态时给予预警，因此留给驾驶员做出反应的时间窗口非常窄，驾驶员在听到预警时很有可能已无法避免事故的发生。
为克服上述现有技术存在的不足，本发明之目的在于提供一种车辆驾驶员疲劳监测预警系统及方法，基于驾驶员面部特征、头部姿态信息，能够根据不同驾驶员的习惯以及驾驶员自身的个性化特征，在驾驶员处于疲劳状态时进行自动预警，从而降低由驾驶员疲劳驾驶引发的交通事故发生率。
人脸检测与跟踪模块，用于获取人脸图像，对获得的人脸图像进行分析和处理，得到人脸区域的位置，并在后续连续处理过程中保持对人脸区域的跟踪；
归一化处理及特征提取单元，对人脸图像进行归一化处理，并进行特征提取，提取出眼部特征信息、嘴部特征信息以及头部特征信息；
perclos疲劳度量化指标计算单元，根据获得的特征信息获取预先建立的驾驶员个性化信息数据库中对应的驾驶员的个性化特征信息，并据此对该驾驶员进行睁闭眼的分类判别以及统计闭眼时间，进行perclos疲劳度量化指标计算；
疲劳度判断单元，用于根据所述perclos疲劳度量化指标判断驾驶员是否疲劳驾驶或分神。
优选地，所述归一化处理及特征提取单元对获得的不同环境光照下的图像进行亮度归一化处理，通过对视频帧图片进行降噪处理，采用几何特征提取的方法，准确获取驾驶员双眼的上下眼皮的准确位置和嘴部上下嘴唇的位置，通过上下眼皮的位置关系，获取眼张开度和通过上下嘴唇的位置确定嘴部张开度；采用几何特征提取的方法，获取驾驶员头部偏离竖直坐标轴的偏离度斜角度和头部摇晃频率。
优选地，所述perclos疲劳度量化指标计算单元根据获得的特征信息于所述驾驶员个性化信息数据库中对驾驶员身份信息进行判别，并获取对应驾驶员的个性化特征信息，然后根据获得的特征信息判断出该驾驶员当前是处于睁眼还是闭眼，若为闭眼，则统计闭眼时间，并据此计算所述perclos疲劳度量化指标。
优选地，所述疲劳度判断单元根据所述perclos疲劳度量化指标或/和头部特征信息，综合判断驾驶员是否疲劳驾驶。
优选地，所述疲劳度判断单元根据头部特征信息判断驾驶员疲劳驾驶或分神，包括如下几种情况：
优选地，所述系统还包括预警单元，于所述疲劳度判断单元判断出驾驶员处于疲劳或分神状态时，通过声音、震动方式给予提示，提醒驾驶员。
优选地，所述系统还包括驾驶员个性化信息数据库建立单元，用于采集并获取驾驶员正常驾驶状态下的面部特征、头部姿态以及模拟疲劳状态下的面部特征、头部姿态，建立个性化的驾驶员个性化信息数据库。
人脸图像检测单元，用于采集人脸图像，对获得的人脸图像进行分析和处理，得到人脸区域的位置；
特征提取单元，通过对脸部进行归一化的旋转和缩放校正，得到头部姿态信息，并对眼睛的状态进行睁闭眼的分类统计，获得头部姿态信息与面部特征个性化特征信息；
特征存储单元，用于将头部姿态信息与面部特征个性化特征信息录入到所述驾驶员个性化信息数据库中，并与人脸识别得到的身份信息对应。
为达到上述目的，本发明还提供一种车辆驾驶员疲劳监测预警方法，包括如下步骤：
步骤一，实时获取车辆驾驶员的人脸图像，对获得的人脸图像进行分析和处理，得到人脸区域的位置，并在后续连续处理过程中保持对人脸区域的跟踪；
步骤三，对人脸图像进行归一化处理，并进行特征提取，提取出眼部特征信息、嘴部特征信息以及头部特征信息；
步骤四，根据获得的特征信息获取预先建立的驾驶员个性化信息数据库中对应的驾驶员的个性化特征信息，并据此对该驾驶员进行睁闭眼的分类判别、统计闭眼时间，进行perclos疲劳度量化指标计算；
采集并获取驾驶员正常驾驶状态下的面部特征、头部姿态以及模拟疲劳状态下的面部特征、头部姿态，建立所述驾驶员个性化信息数据库。
与现有技术相比，本发明一种车辆驾驶员疲劳监测预警系统及方法通过对不同的驾驶员具有个性化数据库录入及个性化疲劳状态判别能力，对不同的驾驶员具有个性化定制的疲劳度检测，在适应性上与其他疲劳驾驶系统相比有较大提升，本发明能够根据不同驾驶员的习惯以及驾驶员自身的个性化特征，在驾驶员处于疲劳状态时进行自动预警，从而降低由驾驶员疲劳驾驶引发的交通事故发生率。
图5为本发明具体实施例中驾驶员非疲劳驾驶与疲劳驾驶个性化信息数据库建立流程图。
以下通过特定的具体实例并结合附图说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其它优点与功效。本发明亦可通过其它不同的具体实例加以施行或应用，本说明书中的各项细节亦可基于不同观点与应用，在不背离本发明的精神下进行各种修饰与变更。
1994年，卡内基梅隆大学经过反复试验和论证，提出了度量疲劳的物理量“perclos”，定义为单位时间内(一般取1分钟或者30秒)眼睛闭合一定比例(70％或80％)所占的时间。美国联邦公路管理局(fhwa)和美国国家公路交通安全管理局(nhtsa)在实验室中模拟驾驶，完成了九种疲劳检测指标的比较。结果证明，perclos与驾驶疲劳的相关性最好，因而本发明采用perclos作为驾驶员疲劳度的评价指标。
图1为本发明一种车辆驾驶员疲劳监测预警系统的系统架构图。如图1所示，本发明一种车辆驾驶员疲劳监测预警系统，包括：
人脸检测与跟踪模块101，用于获取人脸图像，对获得的人脸图像进行分析和处理，得到人脸区域的位置，并在后续连续处理过程中保持对人脸区域的跟踪。在本发明具体实施例中，人脸检测与跟踪模块101通过设置于车辆驾驶员驾驶位正前方的摄像头获取车辆驾驶员的人脸图像，具体地，可采用面部识别技术对采集到的人脸图像进行检测，获取检测出图像中的人脸区域。由于人脸具有一定的结构分布特征，因此，可通过提取上述特征生成相应的规则，来确定图像中是否包含有人脸，获取人脸所在的位置信息，即检测出人脸区域，当然，也可以，采用基于haar特征的人脸分类器，检测驾驶员人脸区域。由于人脸区域的检测为现有的成熟技术，在此不予赘述。对于人脸的跟踪，可采用卡尔曼滤波器算法的人脸跟踪算法，跟踪人脸，在此也不予赘述。
特征点定位单元102，于得到人脸区域后，进行人脸关键特征点定位，标注出眼睛、眉毛、鼻子、嘴巴、脸部轮廓等关键几何位置。
在本发明具体实施例中，获取上述人脸图像的关键点的定位结果坐标所使用的关键点算法可以任意选择，不同的算法可以获得不同的定位结果坐标，本实施例可以对其进行估。在本实施例中，可以选择使用esr(explicitshaperegressor，显示形状回归)人脸五官定位算法的随机性获得多组不同的定位结果坐标。
归一化处理及特征提取单元103，对人脸图像进行归一化处理，并进行特征提取，提取出眼部特征信息、嘴部特征信息以及头部特征信息。这里的眼部特征信息包括眼部张开信息(如上下眼睑距离)和眨眼频率信息，嘴部特征信息包括嘴部张开度(如打哈欠)和嘴部开合的频率，头部特征信息指的是头部姿态和头部摇晃频率，即头部朝向(如头部倾斜角度)和晃动频率。
具体地，特征归一化处理及特征提取单元103，对不同环境光照下的驾驶员图像进行亮度归一化处理，然后通过对视频帧图片进行降噪处理，采用几何特征提取的方法，准确获取驾驶员双眼的上下眼皮的准确位置和嘴部上下嘴唇的位置，通过上下眼皮的位置关系，获取眼张开度和通过上下嘴唇的位置确定嘴部张开度；并通过以司机的头部构建坐标系，通过获取视频中司机偏离竖直坐标轴视频帧，对这些视频帧进行降噪处理，采用几何特征提取的方法，获取司机头部偏离竖直坐标轴的偏离度斜角度和头部摇晃频率。
perclos疲劳度量化指标计算单元104，根据获得的特征信息获取预先建立的驾驶员个性化信息数据库中对应的驾驶员的个性化特征信息，并据此对该驾驶员进行睁闭眼的分类判别、统计闭眼时间，进行perclos疲劳度量化指标计算。具体地说，驾驶员个性化信息数据库中预先存储了各驾驶员的个性化特征信息，例如该驾驶员睁眼时上下眼睑的平均距离、闭眼时上下眼睑的平均距离、正常驾驶时头部姿态朝向等，首先根据获得的特征信息于驾驶员个性化信息数据库中对驾驶员身份信息进行判别，并获取对应驾驶员的个性化特征信息，然后根据获得的特征信息判断出该驾驶员当前是处于睁眼还是闭眼，如果是闭眼，则统计闭眼时间，并计算perclos疲劳度量化指标。具体地，可根据当前驾驶员的特征信息计算出上下眼睑的距离，根据获得的个性化特征信息判断该驾驶员当前是否处于闭眼状态，若处于闭眼状态，则统记闭眼时间，并计算perclos疲劳度量化指标，perclos疲劳度量化指标可通过如下公式获得：
疲劳度判断单元105，用于根据perclos疲劳度量化指标判断驾驶员是否疲劳驾驶或分神。具体地，疲劳度判断单元105可根据perclos疲劳度量化指标与预设的阈值进行比较，判定驾驶员是否疲劳驾驶。优选地，在某些情况下，例如当驾驶员头部朝向(例如低头)使得无法检测到眼睛的状态时，仅仅通过perclos疲劳度量化指标则无法正确判断出驾驶员是否疲劳驾驶，因此，较佳地，疲劳度判断单元105可根据perclos疲劳度量化指标或头部特征信息，例如头部朝向，综合判断驾驶员是否疲劳驾驶，例如，当perclos疲劳度量化指标没有超出预设的阈值而头部偏离竖直坐标轴的偏离度斜角度超过一定阈值且持续一定时间时，则判定驾驶员已疲劳。在本发明具体实施例中，对于头部特征信息判断驾驶员疲劳驾驶或分神，包括如下几种情况：
1)驾驶员单次视线偏离持续时间过长，即以头部偏离视线正前方的偏离角度超过一定阈值且持续一定时间；
3)驾驶员头部长时间处于异常状态，例如头部偏离竖直坐标轴的偏离度斜角度超过一定阈值且持续一定时间
优选地，本发明之车辆驾驶员疲劳监测预警系统还包括预警单元，于疲劳度判断单元105判断出驾驶员处于疲劳或分神状态时，通过声音、震动等预警方式给予提示，提醒驾驶员注意休息。
优选地，本发明之车辆驾驶员疲劳监测预警系统还包括驾驶员个性化信息数据库建立单元，用于采集并获取驾驶员正常驾驶状态下的面部特征、头部姿态以及模拟疲劳状态下的面部特征、头部姿态，建立个性化的驾驶员个性化信息数据库。
人脸图像检测单元201，用于采集人脸图像，对获得的人脸图像进行分析和处理，得到人脸区域的位置。
特征点定位单元202，于得到人脸区域后，进行人脸关键特征点定位，标注出眼睛、眉毛、鼻子、嘴巴、脸部轮廓等关键几何位置。
特征提取单元203，通过对脸部进行归一化的旋转和缩放校正，得到头部姿态信息，并对眼睛的状态进行睁闭眼的分类统计，获得头部姿态信息与面部特征等个性化特征信息，例如，计算获得睁眼时上下眼睑的平均距离、闭眼时上下眼睑的平均距离以及正常驾驶时头部姿态朝向等。
特征存储单元204，用于将头部姿态信息与面部特征等个性化特征信息录入到驾驶员个性化信息数据库中，并与人脸识别得到的身份信息对应。
图3为本发明一种车辆驾驶员疲劳监测预警方法的步骤流程图。如图3所示，本发明一种车辆驾驶员疲劳监测预警方法，包括如下步骤：
步骤301，实时获取车辆驾驶员的人脸图像，对获得的人脸图像进行分析和处理，得到人脸区域的位置，并在后续连续处理过程中保持对人脸区域的跟踪。在本发明具体实施例中，通过设置于车辆驾驶员驾驶位正前方的摄像头获取车辆驾驶员的人脸图像，具体地，可采用面部识别技术对采集到的人脸图像进行检测，获取检测出图像中的人脸区域。由于人脸具有一定的结构分布特征，因此，可通过提取上述特征生成相应的规则，来确定图像中是否包含有人脸，获取人脸所在的位置信息，即检测出人脸区域，当然，也可以，采用基于haar特征的人脸分类器，检测驾驶员人脸区域。由于人脸区域的检测为现有的成熟技术，在此不予赘述。对于人脸的跟踪，可采用卡尔曼滤波器算法的人脸跟踪算法，跟踪人脸，在此也不予赘述。
步骤302，于得到人脸区域后，进行人脸关键特征点定位，标注出眼睛、眉毛、鼻子、嘴巴、脸部轮廓等关键几何位置。
在本发明具体实施例中，获取上述人脸图像的关键点的定位结果坐标所使用的关键点算法可以任意选择，不同的算法可以获得不同的定位结果坐标，本实施例可以对其进行估。在本实施例中，可以选择使用esr(explicitshaperegressor，显示形状回归)人脸五官定位算法的随机性获得多组不同的定位结果坐标。
步骤303，对人脸图像进行归一化处理，并进行特征提取，提取出眼部特征信息、嘴部特征信息以及头部特征信息。这里的眼部特征信息包括眼部张开信息(如上下眼睑距离)和眨眼频率信息，嘴部特征信息包括嘴部张开度(如打哈欠)和嘴部开合的频率，头部特征信息指的是头部姿态和头部摇晃频率，即头部朝向(如头部倾斜角度)和晃动频率。
具体地，于步骤303中，对不同环境光照下的驾驶员图像进行亮度归一化处理，然后通过对视频帧图片进行降噪处理，采用几何特征提取的方法，准确获取驾驶员双眼的上下眼皮的准确位置和嘴部上下嘴唇的位置，通过上下眼皮的位置关系，获取眼张开度和通过上下嘴唇的位置确定嘴部张开度；并通过以司机的头部构建坐标系，通过获取视频中司机偏离竖直坐标轴视频帧，对这些视频帧进行降噪处理，采用几何特征提取的方法，获取驾驶员头部偏离竖直坐标轴的偏离度斜角度和头部摇晃频率。
步骤304，根据获得的特征信息获取预先建立的驾驶员个性化信息数据库中对应的驾驶员的个性化特征信息，并据此对该驾驶员进行睁闭眼的分类判别、统计闭眼时间，进行perclos疲劳度量化指标计算。具体地说，驾驶员个性化信息数据库中预先存储了各驾驶员的个性化特征信息，例如该驾驶员睁眼时上下眼睑的平均距离、闭眼时上下眼睑的平均距离、正常驾驶时头部姿态朝向等，首先根据获得的特征信息于驾驶员个性化信息数据库中对驾驶员身份信息进行判别，并获取对应驾驶员的个性化特征信息，然后根据获得的特征信息判断出该驾驶员当前是处于睁眼还是闭眼，如果是闭眼，则统计闭眼时间，并计算perclos疲劳度量化指标。具体地，可根据当前驾驶员的特征信息计算出上下眼睑的距离，根据获得的个性化特征信息判断该驾驶员当前是否处于闭眼状态，若处于闭眼状态，则统记闭眼时间，并计算perclos疲劳度量化指标，perclos疲劳度量化指标可通过如下公式获得：
步骤305，根据perclos疲劳度量化指标判断驾驶员是否疲劳驾驶或分神。具体地，可根据perclos疲劳度量化指标与预设的阈值进行比较，判定驾驶员是否疲劳驾驶。优选地，在某些情况下，例如当驾驶员头部朝向(例如低头)使得无法检测到眼睛的状态时，仅仅通过perclos疲劳度量化指标则无法正确判断出驾驶员是否疲劳驾驶，因此，于步骤305中，根据perclos疲劳度量化指标或头部特征信息，例如头部朝向，综合判断驾驶员是否疲劳驾驶，例如，当perclos疲劳度量化指标没有超出预设的阈值而头部偏离竖直坐标轴的偏离度斜角度超过一定阈值且持续一定时间时，则判定驾驶员已疲劳。在本发明具体实施例中，对于头部特征信息判断驾驶员疲劳驾驶或分神，包括如下几种情况：
1)驾驶员单次视线偏离持续时间过长，即以头部偏离视线正前方的偏离角度超过一定阈值且持续一定时间；
3)驾驶员头部长时间处于异常状态，例如头部偏离竖直坐标轴的偏离度斜角度超过一定阈值且持续一定时间。
优选地，于步骤305之后，本发明之车辆驾驶员疲劳监测预警方法还包括如下步骤：
于判断出驾驶员处于疲劳驾驶或分神状态时，则通过声音、震动等预警方式提醒驾驶员注意休息。
采集并获取驾驶员正常驾驶状态下的面部特征、头部姿态以及模拟疲劳状态下的面部特征、头部姿态，建立个性化的驾驶员个性化信息数据库。
步骤s1，采集人脸图像，对获得的人脸图像进行分析和处理，得到人脸区域的位置。
步骤s2，于得到人脸区域后，进行人脸关键特征点定位，标注出眼睛、眉毛、鼻子、嘴巴、脸部轮廓等关键几何位置。
步骤s3，通过对脸部进行归一化的旋转和缩放校正，得到头部姿态信息，并对眼睛的状态进行睁闭眼的分类统计，获得头部姿态信息与面部特征等个性化特征信息，具体地，计算获得睁眼时上下眼睑的平均距离、闭眼时上下眼睑的平均距离以及正常驾驶时头部姿态朝向等。
步骤s4，用于将头部姿态信息与面部特征等个性化特征信息录入到驾驶员个性化信息数据库中，并与人脸识别得到的身份信息进行对应。
图4为本发明具体实施例中车辆驾驶员疲劳监测预警方法的流程图。以下将配合图4来说明本发明之具体实施例：
b)如果该驾驶员在驾驶员个性化信息数据库中无记录，则需录入驾驶员正常驾驶状态下的面部特征、头部姿态以及模拟疲劳状态下的面部特征、头部姿态，具体地，经过采集图像进行人脸检测，特征点定位及归一化处理获得眼部特征信息、嘴部特征信息以及头部特征信息，根据特征信息计算该驾驶员睁眼时上下眼睑的平均距离、闭眼时上下眼睑的平均距离、正常驾驶时头部姿态朝向生成个性化特征信息存入驾驶员个性化信息数据库中，如图5所示；当然如果驾驶员不希望录入信息，也可以使用系统默认数据，并进入正常驾驶；
(2)驾驶员在正常驾驶过程中，设置于驾驶位正前方的摄像头不断采集人脸图像，并根据驾驶员个性化信息数据库中对应的个性化特征信息分析出面部特征(上下眼睑距离、打哈欠行为等)，以及计算出驾驶员头部姿态，并计算出perclos疲劳度量化指标。在特征分析过程中，可对驾驶员图像有如下处理：
b)对不同配饰穿戴状态下(如佩戴眼镜、耳环、留胡须等)的驾驶员图像进行智能特征提取；
c)根据分析出的面部特征及头部姿态，分析驾驶员的驾驶状态、注意力集中点及视觉动态；
d)计算出perclos疲劳度指标，进而对驾驶员的图像流进行疲劳度判定。
(3)在检测驾驶员疲劳度的过程中，将检测几种常用的疲劳及驾驶员分神情况：
(4)将计算得到的数据与该驾驶员个性化信息数据库中的个性化数据进行比对，获得驾驶员的疲劳度判定结果，并分析驾驶员的疲劳类型及分神情况。
(5)如果驾驶员处于疲劳及分神情况，则通过声音、震动等预警方式提醒驾驶员注意休息。
综上所述，本发明一种车辆驾驶员疲劳监测预警系统及方法通过对不同的驾驶员具有个性化数据库录入及个性化疲劳状态判别能力，对不同的驾驶员具有个性化定制的疲劳度检测，在适应性上与其他疲劳驾驶系统相比有较大提升，本发明能够根据不同驾驶员的习惯以及驾驶员自身的个性化特征，在驾驶员处于疲劳状态时进行自动预警，从而降低由驾驶员疲劳驾驶引发的交通事故发生率。
本发明在驾驶员的多种驾驶环境(如白天黑夜，阴天晴天等)下以及不同配饰穿戴条件下，甚至不同驾驶员特征差异条件下，具有良好的疲劳检测效果，本发明使用perclos疲劳度量化指标及常见的疲劳驾驶情况，能够较为精确地描述出驾驶员的疲劳状态，比现有的疲劳驾驶监测系统更具有普遍适应性以及较好的监测预警效果。
上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何本领域技术人员均可在不违背本发明的精神及范畴下，对上述实施例进行修饰与改变。因此，本发明的权利保护范围，应如权利要求书所列。
针对现有疲劳检测技术存在误判率高、成本高昂、设备笨重等问题，提出基于PERCLOS优化算法的检测器。通过深度学习与高速摄像机实时提取人脸68个关键点及眼部信息，结合改进的PERCLOS算法以眨...
10702823、一种基于MEMS的驾驶员驾驶行为状态监测预警装置的制作方法
针对现有疲劳检测算法对不同面部特征适应性差的问题，提出基于个体学习的检测方法。通过采集视频样本，利用肤色分割和积分投影定位人眼区域，提取个体化睁闭眼阈值，结合PERCLOS算法实现精准疲劳判断...
针对驾驶疲劳检测准确性不足的问题，提出基于FPGA的车载疲劳预警方案。通过双光源采集瞳孔图像，结合卡尔曼滤波与灰度投影定位瞳孔，利用PERCLOS算法统计单位时间内眼睑闭合比例，实现非接触式疲...
1.计算机网络安全 2.计算机仿线.网络安全；物联网安全 、大数据安全 2.安全态势感知、舆情分析和控制 3.区块链及应用
扫一扫关注微信公众号
