[发明专利]基于机器视觉的施工机械操作员疲劳作业检测系统及方法

权利要求书

1.一种基于机器视觉的施工机械操作员疲劳作业检测系统，其特征在于，包括：用于采集视频数据的视觉采集系统，用于对面部图像进行器官特征提取的图像处理系统，用于根据操作员的面部器官动作数据评估其作业疲劳程度的疲劳指标评估系统；视觉采集系统采集操作员的面部视频数据；图像处理系统设有人脸图像识别系统，其接收来自视觉采集系统的面部视频数据，并将面部视频数据转换为视频文件流；人脸图像识别系统循环读取视频文件流中的每一帧图像，其对图像进行面部器官特征提取，并将提取的特征图发送给疲劳指标评价系统；疲劳指标评价系统由连续的面部器官特征图，测得面部器官的动作参数，其对每一种动作参数分别设置相应的阈值来进行疲劳程度评价，并根据面部器官的动作参数与疲劳状态的关联度，设置相应的权重，由各动作参数得到的疲劳程度评价指标结合对应权重，得到操作员疲劳状态综合指标。

2.根据权利要求1所述的基于机器视觉的施工机械操作员疲劳作业检测系统，其特征在于，还包括报警系统，报警系统接收来自疲劳指标评价系统的疲劳综合指标信号，根据设定的阈值，判断疲劳级别并发出相应的警告信号。

3.一种基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，该方法包括：设置用于采集视频数据的视觉采集系统，设置用于对面部图像进行器官特征提取的图像处理系统，设置用于根据操作员的面部器官动作数据评估其作业疲劳程度的疲劳指标评估系统；采用视觉采集系统采集操作员的面部视频数据；在图像处理系统中设置人脸图像识别系统，采用图像处理系统接收来自视觉采集系统的面部视频数据，并将面部视频数据转换为视频文件流，采用人脸图像识别系统循环读取视频文件流中的每一帧图像，并对图像进行面部器官特征提取，然后将提取的特征图发送给疲劳指标评价系统；采用疲劳指标评价系统由连续的面部器官特征图测得面部器官的动作参数，使其对每一种动作参数分别设置相应的阈值来进行疲劳程度评价，并根据面部器官的动作参数与疲劳状态的关联度，设置相应的权重，由各动作参数得到的疲劳程度评价指标结合对应权重，得到操作员疲劳状态综合指标。

4.根据权利要求3所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，人脸图像识别系统基于人脸特征点标定的dlib算法对图像进行面部器官特征点提取。

5.根据权利要求4所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，面部器官的动作参数包括眨眼频率、平均眨眼时长及眼睑闭合时间百分比。

6.根据权利要求5所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，眨眼频率、平均眨眼时长及眼睑闭合时间百分比的计算方法为：

人脸图像识别系统提取的眼部特征点，以眼睛中心为参照点分别定义如下：左侧为P₁、左上方为P₂、右上方为P₃、右侧为P₄、右下方为P₅、左下方为P₆；

设眼睛纵横比为EAR，其数值等于眼睛纵向界标与横向界标之间的欧氏距离比值，其计算公式表示如下：

检测对象前20～30s的视频作为样本，计算其中每一帧的EAR值，统计得出EAR中位数作为睁眼状态下EAR值；设置判定眼睛为闭眼状态的EAR阈值；

根据帧速率计算采集时长对应的帧数，当捕捉到连续超过0.1-0.2秒时长所对应的帧数的EAR值低于EAR阈值时，判定为一次眨眼；

设眨眼频率为BF，平均眨眼时长为ABT，眼睑闭合时间百分比为PERCLOS，三者的计算公式如下：

式中，n为累计眨眼次数；T1为疲劳检测的起始时刻；T2为疲劳检测的终止时刻；T3为某次眨眼的开始时刻；T4为某次眨眼的结束时刻；T5为眨眼过程中眼睑闭合80％的开始时刻；T6为眨眼过程中眼睑闭合80％的结束时刻。

7.根据权利要求6所述的基于机器视觉的施工机械操作员疲劳作业检测方法，其特征在于，EAR阈值等于0.8倍的检测对象前20～30s的EAR中值。