[发明专利]疲劳状态智能识别方法、装置及电子设备

权利要求书

1.一种疲劳状态智能识别方法，其特征在于，包括：

基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征；

将所述每帧人脸图像对应的视觉特征依次输入已训练的疲劳分类网络模型依次确定出多个不同时刻的驾驶员的中间疲劳状态，所述多个不同时刻包括当前时刻和当前时刻之前的多个时刻；

将各个不同时刻的驾驶员的中间疲劳状态输入已训练的疲劳判断时序网络学习模型，确定当前时刻的驾驶员的疲劳状态。

2.如权利要求1所述的疲劳状态智能识别方法，其特征在于，采用以下方式得到所述已训练的疲劳分类网络模型：

获取连续多帧样本人脸图像；

标记各帧所述样本人脸图像的中间疲劳状态；

确定每帧样本人脸图像对应的视觉特征；

将每帧样本人脸图像对应的视觉特征和中间疲劳状态输入疲劳分类网络模型对所述疲劳分类网络模型进行训练，得到已训练的基于视觉特征确定中间疲劳状态的疲劳分类网络模型。

3.根据权利要求2所述的方法，其特征在于，采用以下方式得到所述已训练的疲劳判断时序网络学习模型：

将所述每帧样本人脸图像输入所述疲劳分类网络模型，依次输出所述多个不同时刻的所述中间疲劳状态；

将所述多个不同时刻的所述中间疲劳状态输入疲劳判断时序网络学习模型，对所述疲劳判断时序网络学习模型进行训练，得到已训练的疲劳判断时序网络学习模型。

4.如权利要求1所述的疲劳状态智能识别方法，其特征在于，所述基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征，包括：

基于视觉特征算法识别出实时获取到的驾驶员的每帧所述人脸图像的视觉特征区域的关键点；

根据每帧人脸图像的视觉特征区域的关键点确定出所述每帧人脸图像的所述视觉特征区域的状态；

根据所述每帧人脸图像的所述视觉特征区域的状态确定所述每帧人脸图像对应的所述视觉特征。

5.如权利要求4所述的疲劳状态智能识别方法，其特征在于，所述视觉特征区域包括：嘴部和/或眼部和/或头部；所述根据每帧人脸图像的所述视觉特征区域的关键点确定出所述每帧人脸图像的所述视觉特征区域的状态，包括：

根据所述每帧人脸图像的嘴部的关键点确定出嘴部张开程度；和/或

根据所述每帧人脸图像的眼部的关键点确定出眼睛闭合程度；

和/或

根据每帧人脸图像的头部的关键点确定出头部沿水平方向转动的俯仰角和/或头部沿竖直方向转动的偏航角。

6.如权利要求1-5任一项所述的疲劳状态智能识别方法，其特征在于，所述确定当前时刻的驾驶员的疲劳状态之后，还包括：

根据所述疲劳状态生成疲劳报警信息。

7.一种疲劳状态智能识别装置，其特征在于，包括：视觉特征确定模块、已训练的分类网络模型和已训练的疲劳判断时序网络学习模型；

所述视觉特征确定模块，用于基于实时获取到的驾驶员的连续多帧人脸图像确定每帧人脸图像对应的视觉特征；

所述已训练的疲劳分类网络模型，用于根据依次输入的每帧人脸图像对应的视觉特征确定出多个不同时刻的驾驶员的中间疲劳状态，所述多个不同时刻包括当前时刻和当前时刻之前的多个时刻；

所述已训练的疲劳判断时序网络学习模型用于，根据输入的各个不同时刻的驾驶员的中间疲劳状态确定当前时刻的驾驶员的疲劳状态。

8.如权利要求7所述的疲劳状态智能识别装置，其特征在于，采用以下方式对所述疲劳分类网络模型进行训练：

获取连续多帧样本人脸图像；

标记各帧所述样本人脸图像的中间疲劳状态；

确定每帧样本人脸图像对应的视觉特征；

将每帧样本人脸图像对应的视觉特征和中间疲劳状态输入疲劳分类网络模型对所述疲劳分类网络模型进行训练，得到已训练的基于视觉特征确定中间疲劳状态的疲劳分类网络模型。