[发明专利]基于语音分析的多特征融合疲劳驾驶检测方法

权利要求书

1.一种基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，该方法包括：

步骤一，使用心率传感器持续采集驾驶员心率数据；使用座椅背部压力传感器持续采集驾驶员背部压力数据；使用座椅头部压力传感器持续采集驾驶员头部压力数据；使用面部分析模块持续采集驾驶员面部图像，分析驾驶员眨眼频次、鼻部尺寸、嘴部开合尺寸；

步骤二，车载语音识别系统通过端点检测模块持续检测语音端点，每检测到一个语音结束点，从心率传感器、压力传感器、面部分析模块获取数据，如此，得到多个语音结束点对应的数据，得到心率样本序列、背部压力样本序列、头部压力样本序列、眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列；

步骤三，基于上下四分位数得到心率样本序列、背部压力样本序列、头部压力样本序列中的异常样本值，利用异常样本值在序列中的邻域样本值对异常样本值进行修正，将修正后的心率样本序列、背部压力样本序列、头部压力样本序列与眨眼频次样本序列、鼻部尺寸样本序列、嘴部开合尺寸样本序列组成驾驶状态特征向量组，并对驾驶状态特征向量组进行标注；

步骤四，将标注后的驾驶状态特征向量组作为样本数据集，输入神经网络，基于均方差损失函数进行训练，保存训练好的神经网络；

步骤五，检测到驾驶员进入驾驶位，使用训练好的神经网络对驾驶员进行疲劳驾驶检测，根据检测结果发出预警信息。

2.如权利要求1所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述步骤一中的面部分析模块采用深度神经网络检测驾驶员面部68个关键点，并根据关键点分析驾驶员眨眼频次、鼻部尺寸、嘴部开合尺寸。

3.如权利要求2所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述步骤一中眨眼频次的分析方法为：

设置阈值，比较眼睛开合尺寸与阈值的大小关系，判断驾驶员眼睛的睁、闭状态；

设置滑动时间窗口，以当前时刻为滑动时间窗口的结束临界点，根据时间窗口内驾驶员眼睛睁、闭状态的变化，统计时间窗口内驾驶员的眨眼频次。

4.如权利要求3所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述滑动时间窗口设置为15秒。

5.如权利要求3所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述眼睛开合尺寸的计算方法为：

将眼睛关键点纵坐标数值进行排序，取最大的两个纵坐标值的平均值作为上眼皮的纵坐标信息，取最小纵坐标值以及次小纵坐标值的平均值作为下眼皮的纵坐标信息，计算上眼皮的纵坐标信息与下眼皮的纵坐标信息的差值，得到眼睛开合尺寸。

6.如权利要求1所述的基于语音分析的多特征融合疲劳驾驶检测方法，其特征在于，所述的步骤三中的基于上下四分位数，对心率样本序列、背部压力样本序列、头部压力样本序列进行修正包括：

设心率样本序列为A，计算A的上下四分位数，记上四分位数为H，下四分位数为L，计算上、下四分位数的差Q＝H-L；

遍历心率样本序列A中的所有数据，记A中第i个数据为A_i，若A_i大于H时，计算A_i与H之间的差值绝对值，记为d；若A_i小于L时，计算L与A_i之间的差值绝对值，记为d；

根据Q设置阈值，若d大于或等于阈值，则认为A_i为异常值，采用邻域平均值方法对异常值进行修正：A_i＝(A_i+1+A_i+2+A_i-1+A_i-2)/4；

采用同样的方法对背部压力样本序列、头部压力样本序列进行修正。