熊猫科技 · 以技术创新驱动运动科学发展
一种疲劳检测方法及装置与流程
导航：X技术最新专利医药医疗技术的改进;医疗器械制造及应用技术
本发明针对传统疲劳检测方法准确性低、实时性差的问题，提出融合图像与生物特征的多模态检测方案。通过采集面部、肩部、脉搏及腿部多维度数据，构建MSDRNN网络模型实现特征级融合，利用形态相似距离记忆层增强时序依赖性，显著提升疲劳状态识别精度与响应速度，为儿童及办公人群提供实时预警。
目前，人们的生活节奏越来越快，处于亚健康状态的人越来越多，特别针对长期处于疲劳状态的人们来说，他们总是在不知不觉中已处于疲劳状态。
而目前检测疲劳状态的技术都过于专业，人们需要到医院等专门机构进行健康检查。这种检测方式虽然准确、全面，但过于耗时费力，基于此，本发明提供了一种疲劳检测方法及装置，该装置为家庭儿童以及办公室工作人员长时间工作和学习提供了实时而准确的疲劳检测方案。单基于摄像头的面部疲劳检测通常会反馈不及时以及受光线的强弱影响效果；单基于脉搏频率等生物特征的疲劳检测通常无法准确反馈人的疲劳状态；现有的疲劳检测方案需要对检测的实时性和准确性进行改造。所以本发明使用了脸部特征，生物特征信号以及通过人眼与肩部的比例提取的肩部特征相结合的方案，提供准确性地疲劳特征检测；并使用了特征在时间上的形态相似距离训练的基于形态相似距离的回馈式神经网络(recurrentneuralnetworkbasedonmorphology-similarity-distance，msdrnn)模型训练出实时有效的疲劳检测模型。
本发明的目的在于克服现有技术耗时费力的不足，提供了一种疲劳检测方法及装置，实时且准确的检测人的疲劳程度。
本发明是通过以下技术方案实现的：一种疲劳检测装置，包括数据采集模块、核心处理模块、控制模块、计算模块和存储模块，其特征在于：所述的数据采集模块包括通讯模块与传感器采集模块，所述的通讯模块与传感器采集模块相连，所述的控制模块包括指示灯、按键单元以及选择开关单元，所述的通讯模块包括usb与蓝牙，所述的核心处理模块包括fpga开发板，所述的计算模块包括计算器，所述的存储模块设置有存储器，所述的数据采集模块、控制模块、计算模块、存储模块均与核心处理模块相连。
优选地，所述的数据采集模块用于采集人的疲劳特征；所述的核心处理模块用于对数据采集模块采集的数据进行处理，并将相应数据存储在存储器里；所述的控制模块用于控制疲劳检测装置；所述的计算模块用于对核心处理模块中的相应数据进行计算，并返回给核心处理模块；所述的存储模块用于对存储核心处理模块中的数据进行存储。
优选地，所述的传感器采集模块包括双目摄像头采集模块、脉搏传感器、加速度传感器和腿部传感器电路模块，所述的脉搏传感器、加速度传感器均与腿部传感器电路模块相连。
作为优选，所述的双目摄像头采集模块与通讯模块相连，所述的腿部传感器电路模块与通讯模块相连。
优选地，所述的双目摄像头采集模块通过usb与核心处理模块相连，所述的腿部传感器电路模块通过蓝牙与核心处理模块相连。
1)采集无疲劳状态下脸部基准数据采集人在无疲劳状态下60s内的脸部特征(眨眼频率w(t)1，嘴部张合度m(t)1，头部移动幅度h(t)1)，并对获取到的特征数据做去噪和规格化处理，得到脸部无疲劳状态下的基准数据；
2)采集无疲劳状态下的肩部张合度：根据人体结构比例，眼睛之间的距离和肩膀的宽度有一定关系，采集到肩部张合度数据；(详见说明书)
3)采集无疲劳状态下脉搏基准数据：首先通过脉搏传感器装置获取人60s内的脉搏跳动数据，并对获取到的数据做去噪处理，得到脉搏无疲劳状态下的基准数据p(t)1；
4)采集无疲劳下腿部静止时长：首先通过腿部的加速度传感器采集人在60s内的腿部运动信号，并通过去除腿部运动信号中前后部分噪音信号，得到准确的运动信号，然后根据腿部运动产生的局部加速度最大值(即信号中的局部峰值)，分别统计60s内所有相邻最大加速度的时长那个，并计算其平均值为腿部无疲劳状态下的静止时长l(t)1；
5)获取疲劳状态下基准数据：首先通过步骤1)采集疲劳状态下人的脸部特征(眨眼频率w(t)2，嘴部张合度m(t)2，头部移动幅度h(t)2)，再通过步骤2)提取人在疲劳状态下的肩膀张和度s(t)2，以及步骤3)采集人在疲劳状态下的脉搏频率p(t)2，最后通过步骤4)采集疲劳状态下人的腿部静止时长l(t)2；
6)训练数据整合：将无疲劳状态数据(眨眼频率w(t)1，嘴部张合度m(t)1，头部移动幅度h(t)1，肩膀张和度s(t)1，脉搏频率p(t)1，腿部静止时长l(t)1)与疲劳状态数据(眨眼频率w(t)2，嘴部张合度m(t)2，头部移动幅度h(t)2，肩膀张和度s(t)2，脉搏频率p(t)2，腿部静止时长l(t)2)合并整理后通过去噪和降维处理得到特征(眨眼频率w(t)3，嘴部张合度m(t)3，头部移动幅度h(t)3，肩膀张和度s(t)3，脉搏频率p(t)3，腿部静止时长l(t)3)；
7)建立msdrnn网络模型对特征进行特征融合：监测数据经过去噪和降维处理之后作为步骤6)的疲劳特征模型的输入，通过模型的输出如果y(t)0.5则表示人已经处于疲劳状态，指示灯闪烁且语音提示用户休息，反之则表示人处在正常状态(无疲劳)下。
本发明提供了一种疲劳检测方法及装置，包括数据采集模块、核心处理模块、控制模块、计算模块和存储模块，所述的数据采集模块、控制模块、计算模块、存储模块均与核心处理模块相连。检测时，首先通过采集无疲劳状态下脸部基准数据、肩部张合度数据、脉搏基准数据和腿部静止时长数据，其次采集疲劳状态下脸部基准数据、肩部张合度数据、脉搏基准数据和腿部静止时长数据，将无疲劳状态下数据与疲劳状态下数据合并整理后通过去噪和降维处理得到特征，建立msdrnn网络模型对特征进行特征融合。与现有技术相比，本发明有效地结合图像检测与生物特征检测方案，实时且准确的检测人的疲劳程度，可用于为家庭儿童以及办公室工作人员长时间工作和学习提供了实时而准确的疲劳检测设备。
下面对本发明的实施例作详细说明，本实施例在以本发明技术方案为前提下进行实施，给出了详细的实施方式和具体的操作过程，但本发明的保护范围不限于下述的实施例。
参照附图1和图2，一种疲劳检测装置，包括数据采集模块、核心处理模块、控制模块、计算模块和存储模块，其特征在于：所述的数据采集模块包括通讯模块与传感器采集模块，所述的通讯模块与传感器采集模块相连，所述的控制模块包括指示灯、按键单元以及选择开关单元，所述的通讯模块包括usb与蓝牙，所述的核心处理模块包括fpga开发板，所述的计算模块包括计算器，所述的存储模块设置有存储器，所述的数据采集模块、控制模块、计算模块、存储模块均与核心处理模块相连。
需要说明的是，数据采集模块是用于采集人的疲劳特征；所述的核心处理模块用于对数据采集模块采集的数据进行处理，并将相应数据存储在存储器里；所述的控制模块用于控制疲劳检测装置；所述的计算模块用于对核心处理模块中的相应数据进行计算，并返回给核心处理模块；所述的存储模块用于对存储核心处理模块中的数据进行存储。
优选地，所述的传感器采集模块包括双目摄像头采集模块、脉搏传感器、加速度传感器和腿部传感器电路模块，所述的脉搏传感器、加速度传感器均与腿部传感器电路模块相连，所述的双目摄像头采集模块与通讯模块相连，所述的腿部传感器电路模块与通讯模块相连，所述的双目摄像头采集模块通过usb与核心处理模块相连，所述的腿部传感器电路模块通过蓝牙与核心处理模块相连。
考虑到单基于摄像头的面部疲劳检测通常会反馈不及时以及受光线的强弱影响效果，单基于脉搏频率等生物特征的疲劳检测通常无法准确反馈人的疲劳状态，因此本方案设计采用双目摄像头采集模块采集脸部基准数据，采用加速度传感器采集肩部张合度数据，采用脉搏传感器采集脉搏基准数据，采用腿部传感器采集腿部静止时长数据，本领域的技术人员可理解的是，本发明使用了脸部特征，生物特征信号以及通过人眼与肩部的比例提取的肩部特征相结合的方案，提供准确性地疲劳特征检测。
1)采集无疲劳状态下脸部基准数据：采集人在无疲劳状态下60s内的脸部特征(眨眼频率w(t)1，嘴部张合度m(t)1，头部移动幅度h(t)1)，并对获取到的特征数据做去噪和规格化处理，得到脸部无疲劳状态下的基准数据。
2)定位上半身特征点：参照图3，通过图像处理中的亮度分析，图像差分，二值化以及滤波，膨胀，得到人上半身的轮廓检测图像，并通过建立二维坐标系(x,y)，并得到左眼中心的位置eyel＝(xel,yel)，右眼中心的位置eyer＝(xer,yer),以及对眼睛做矩形得到眼睛的高度heye，人左肩的中心位置右肩膀的中心位置嘴的中心的位置mouth＝(xm,ym)，两眼中心之间的距离leye＝xer-xel。
3)采集无疲劳状态下的肩部张合度：根据人体结构比例，眼睛之间的距离和肩膀的宽度有一定关系，且由此可以建立左右搜索矩形，分别为其中的分别为矩形的左上角坐标点，w，h分别为搜索矩形的宽和高，坐标的值使用2)中的定位点表示为w＝leye,h＝yel-ysl。参照图4和图5根据人不同坐姿下的眼睛中心的移动，可以建立倾斜检索矩形，表示为recttilt＝(wtilt,htilt,θ)，其中wtilt表示矩形的宽，htilt表示矩形的高，θ代表倾斜检索矩形与水平的夹角。(且其中wtilt＝leye,htilt＝heye)且根据三角函数可得cosθwtilt+sinθhtilt＝leye，又因为肩膀张合度s(t)1≈θ，所以采集到肩部张合度s(t)1。
4)采集无疲劳状态下脉搏基准数据：首先通过脉搏传感器装置获取人60s内的脉搏跳动数据，并对获取到的数据做去噪处理，得到脉搏无疲劳状态下的基准数据p(t)1。
5)采集无疲劳下腿部静止时长：首先通过腿部的加速度传感器采集人在60s内的腿部运动信号，并通过去除腿部运动信号中前后部分噪音信号，得到准确的运动信号，然后根据腿部运动产生的局部加速度最大值(即信号中的局部峰值)，分别统计60s内所有相邻最大加速度的时长那个，并计算其平均值为腿部无疲劳状态下的静止时长l(t)1。
6)获取疲劳状态下基准数据：首先通过1)中步骤采集疲劳状态下人的脸部特征(眨眼频率w(t)2，嘴部张合度m(t)2，头部移动幅度h(t)2)，再通过2)与3)步骤提取人在疲劳状态下的肩膀张和度s(t)2，以及4)采集人在疲劳状态下的脉搏频率p(t)2，最后通过5)采集疲劳状态下人的腿部静止时长l(t)2。
7)训练数据整合：将无疲劳状态数据(眨眼频率w(t)1，嘴部张合度m(t)1，头部移动幅度h(t)1，肩膀张和度s(t)1，脉搏频率p(t)1，腿部静止时长l(t)1)与疲劳状态数据(眨眼频率w(t)2，嘴部张合度m(t)2，头部移动幅度h(t)2，肩膀张和度s(t)2，脉搏频率p(t)2，腿部静止时长l(t)2)合并整理后通过去噪和降维处理得到特征(眨眼频率w(t)3，嘴部张合度m(t)3，头部移动幅度h(t)3，肩膀张和度s(t)3，脉搏频率p(t)3，腿部静止时长l(t)3)。
8)建立msdrnn网络模型对特征进行特征融合：基于回馈式神经网络(rnn)的基本原理，增加了基于形态相似距离(morphologysimilaritydistance,msd)的记忆层(记忆层是指从隐含层回馈过来的神经元集合，用于记录隐含层上一个时间段的内容，参照图6，本方法中主要使用对前三个时间段的形态相似距离进行计算，而得到的前三个时间段对当前时间段的相似度影响，并使用激活函数的方法将相似度影响作为输入，输出相似度权值，并用线性方程的形式存储为当前时间段的记忆层)，为模型提供上一时间段的上下文依赖性。设t是网络所处的当前时刻，输入层分别输入脸部特征(眨眼频率w(t)3，嘴部张合度m(t)3，头部移动幅度h(t)3)，肩部与腿部特征(脉搏频率p(t)3，肩膀张和度s(t)3，腿部静止时长l(t)3)。z1(t)与z2(t)分别代表网络中两个隐含层的输出，w1,w2,w3,w4,w5,w6分别代表脸部特征到隐含层z1(t)，隐含层z1(t)到隐含层z2(t),肩部与腿部特征到隐含层z2(t)，隐含层z2(t)到输出层y(t)，记忆层x1(t)到隐含层z1(t)，记忆层x2(t)到隐含层z2(t)的权值矩阵。其中隐含层z1(t)的输出为z1(t)＝f(w1(w(t)3+m(t)3+h(t)3)+w5x1(t))，隐含层z2(t)的输出为z2(t)＝f(w3(p(t)3+s(t)3+l(t)3)+w2z1(t)+w6x2(t))，记忆层x1(t)的输出为记忆层x2(t)的输出为(其中zi(t-j)表示隐含层i的前j个时间段的输出，其中表示前面第j个时间段对当前时间段的影响dmsd(t,t-j)表示前第j个时间段对当前时间段t之间的形态相似距离)，输出y(t)的计算公式为y(t)＝w4z2(t)。(其中激活函数f取双曲正切函数，形态相似距离的计算使用公式其中tk表示时间段t的属性k的值)
9)使用误差反向传播算法(bp)训练msdrnn模型，得到准确的无疲劳状态模型：参照图7，依据bp算法思想，先对msdrnn网络模型中每一层节点的权值进行初始化，之后利用网络模型输出结果与输出层之间的误差来计算调整输出层的前一层的权值，再利用输出和训练目标之间的误差估计更新上一层的连接权值，这样一层一层地进行迭代误差修改当前层的连接权值矩阵(其中的优化方法使用梯度下降法)。其中将神经元i在迭代n次的输出误差定义为ei(n)＝di(n)-yi(n)(其中di(n)代表目标输出向量，yi(n)代表实际输出向量)，并且将神经元i的误差看成能量误差的瞬时值且计算总的误差值(y为输出层的神经元数目)，最后得到无疲劳状态下的权值矩阵，并依据权值矩阵建立无疲劳状态的特征模型。
10)进行疲劳检测：检测时，通过双目摄像头实时采集人的肩部特征与脸部特征，同时通过脉搏传感器和腿部加速传感器实时检测人的脉搏运动和腿部运动。监测数据经过去噪和降维处理之后作为8)中的疲劳特征模型的输入，通过模型的输出如果y(t)0.5则表示人已经处于疲劳状态，指示灯闪烁且语音提示用户休息，反之则表示人处在正常状态(无疲劳)下。
综上所述，本发明提供的一种疲劳检测方法及装置，包括数据采集模块、核心处理模块、控制模块、计算模块和存储模块，所述的数据采集模块、控制模块、计算模块、存储模块均与核心处理模块相连。检测时，首先通过采集无疲劳状态下脸部基准数据、肩部张合度数据、脉搏基准数据和腿部静止时长数据，其次采集疲劳状态下脸部基准数据、肩部张合度数据、脉搏基准数据和腿部静止时长数据，将无疲劳状态下数据与疲劳状态下数据合并整理后通过去噪和降维处理得到特征，建立msdrnn网络模型对特征进行特征融合。与现有技术相比，本发明有效地结合图像检测与生物特征检测方案，实时且准确的检测人的疲劳程度，可用于为家庭儿童以及办公室工作人员长时间工作和学习提供了实时而准确的疲劳检测设备。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。
技术研发人员：鲁炎;朱泽德;曾新华;郑守国;孙熊伟;王春义;董文功;任建文;方静静
针对现有驾驶疲劳检测系统精度低的问题，提出通过多模态动作特征融合提升检测准确率。系统采用视频采集-预处理-特征提取-疲劳检测-结果融合的流程，结合手部和头部动作特征（如位置、姿态、运动轨迹），...
针对现有疲劳检测方法因个体差异导致模型准确性差的问题，提出通过脑电数据与离线训练数据对齐、提取频域特征并输入深度神经网络模型的解决方案，有效提升检测精度与实时性，无需重新训练模型。 ...
针对传统疲劳检测方法准确性不足的问题，提出一种融合多源数据的检测方案。通过采集生理、面部及声音数据，构建包含轻量化卷积神经网络、残差密度网络等模型的融合检测系统，结合带通滤波预处理和多级阈值判...
针对空中交通管制员疲劳状态难以实时监测的问题，提出一种融合音视频数据的智能检测方法。通过采集管制席位视频与陆空通话数据，利用聚类分析构建疲劳特征档案，结合多维度指标（如PERCLOS值、信道占...
1.制浆造纸 2.植物资源精细化工与化学 3.生物质精炼 4.天然产物化学
1.CRISPR-Cas系统 2.基因编辑 3.基因修复 4.天然产物合成 5.单分子技术开发与应用
1. 基于糖类的抗肿瘤药物的合成和活性评价及糖类疫苗的研制 2.功能糖类的化学酶法合成及构效关系研究 3.多糖及仿生材料功能的开发及应用
1.天然产品的提取分离与活性研究 2.天然产物活性与安全性评价 3.中药组方配伍机制研究
扫一扫关注微信公众号
