[发明专利]基于人脸和肢体姿态识别的紧急制动方法及系统

权利要求书

1.一种基于人脸和肢体姿态识别的紧急制动方法，其特征在于，包括以下步骤：

S100，通过设置在驾驶区域内不同位置的双目红外摄像头，持续性获取包括驾驶员面部及驾驶姿态的影像数据；所述步骤S100包括：

S110，通过设置在驾驶区域内不同位置的双目红外摄像头，获取同一时间不同角度的驾驶员面部及驾驶姿态的视频数据；

S120，基于OpenCV函数库将所述视频数据转化成图像数据，根据拍摄时间进行双视角图像数据匹配；

S130，根据匹配结果对所述图像数据进行全景合成拼接、灰度处理及二值化处理，得到所述影像数据；

S200，提取所述影像数据中的驾驶员的面部特征及驾驶姿态特征，基于时间维度，分别对驾驶员情绪和肢体姿态稳定度进行量化，得到情绪量化结果及姿态量化结果，所述步骤S200包括：S210，对所述影像数据进行预处理，提取所述影像数据中的驾驶员的面部特征及驾驶姿态特征，在所述影像数据中对人脸和姿态区域进行标记，生成相应的位置标签；S220，获取人脸面部的关键节点信息，基于轻量化表情分类量化神经网络模型对驾驶员的面部表情进行第一分类，得到第一分类量化结果，以及，获取上半身关键节点信息，基于姿态分类量化神经网络模型对驾驶员的肢体紧张状态进行第二分类，得到第二分类量化结果；S230，基于时间维度缓存所述第一分类量化结果，对驾驶员面部情绪进行量化，得到所述情绪量化结果，以及，基于时间维度缓存所述第二分类量化结果，对驾驶员肢体姿态稳定度进行量化，得到所述姿态量化结果；

S300，通过所述情绪量化结果及所述姿态量化结果，结合AEB系统中的传感器信息，量化得到行车危险程度等级；

S400，根据所述行车危险程度等级，校正AEB系统的TTC输出，并根据校正后的所述TTC输出进行制动决策，生成相应的响应指令序列，通过车身域控制器执行制动动作；步骤S400包括：对所述TTC输出值进行循环存储，根据所述TTC输出值的变化趋势及当前时刻值，进行紧急制动决策，生成相应的响应指令序列；所述响应指令序列包括若干响应指令及指令的响应顺序，所述响应指令包括：车内声音告警、振动告警、液压缸预填充、卡钳预夹紧、卡钳夹紧和安全带预响应动作及作用次序。

2.根据权利要求1所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，所述步骤S210还包括：对所述影像数据进行标记处理后，通过循环存储，构建历史人脸和肢体姿态数据库。

3.根据权利要求1所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，基于时间维度缓存所述第一分类量化结果，对驾驶员面部情绪进行量化的方法包括：将驾驶员的面部表情按照积极性程度归一化为积极、中性及消极三类，进行量化，得到所述情绪量化结果。

4.根据权利要求1所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，基于时间维度缓存所述第二分类量化结果，对驾驶员肢体姿态稳定度进行量化的方法包括：

根据所述上半身关键节点信息，获得身体倾角的姿态参数；

通过所述姿态参数，对驾驶员紧张程度进行聚类，归一化为积极、中性及消极三类，进行量化，得到所述姿态量化结果。

5.根据权利要求1所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，所述步骤S200还包括：

通过视频流分析驾驶员表情和姿态变化，检测得到驾驶精神状态；

根据所述驾驶精神状态，返回所述步骤S100或者继续执行所述步骤S300。

6.根据权利要求1所述的基于人脸和肢体姿态识别的紧急制动方法，其特征在于，所述步骤S400包括：

基于模糊智能校正TTC模型，通过所述行车危险程度等级，校正AEB系统的所述TTC输出；

对所述TTC输出进行循环存储，根据所述TTC输出的变化趋势及当前时刻值，进行制动决策，生成相应的响应指令序列；

根据所述响应指令序列，通过所述车身域控制器执行相应的制动动作。