[发明专利]一种基于多模态混合融合的驾驶员愤怒情绪识别方法

权利要求书

1.一种基于多模态混合融合的驾驶员愤怒情绪识别方法，其特征在于，该识别方法包括：

步骤一、实时采集驾驶员的心电信号和汽车行驶参数，并根据驾驶员的心电信号提取出驾驶员的心电特征；

步骤二、将驾驶员的心电特征和汽车行驶参数进行拼接融合，降维之后获得融合驾驶员心电特征与汽车行驶参数的数据集，构建基于随机森林算法的驾驶员愤怒情绪识别模型，用随机森林算法作为分类器对驾驶员情绪进行分类，驾驶员情绪种类分为驾驶员愤怒情绪和驾驶员非愤怒情绪两种类型，通过随机森林算法分类器识别不同情绪，输出情绪种类的概率；

步骤三、实时采集驾驶员的面部图像数据，通过卷积神经网络与softmax分类器构建基于面部图像的驾驶员情绪识别模型，将所采集的驾驶员的面部图像利用卷积神经网络进行特征提取，并利用softmax分类器对驾驶员情绪进行分类，驾驶员情绪种类分为驾驶员愤怒情绪和驾驶员非愤怒情绪两种类型，通过softmax分类器输出情绪种类的概率；

步骤四、将步骤二和步骤三中两种驾驶员愤怒情绪识别模型输出的情绪种类的概率利用D-S证据理论进行决策融合，最终输出驾驶员的情绪状态。

2.根据权利要求1所述的基于多模态混合融合的驾驶员愤怒情绪识别方法，其特征在于：所述步骤一中，通过驾驶员所佩戴的用于采集心电信号的智能手环采集驾驶员的心电信号，且驾驶员所配戴的智能手环包含数据采集模块和数据处理模块，数据采集模块实时采集驾驶员的心电信号；数据处理模块先通过小波变换对驾驶员的心电信号进行滤波去噪，再通过内置的R波检测算法获得驾驶员心电信号的RR间期，利用RR间期以及对应的时间序列计算出驾驶员的心电特征；所述心电特征包括：

{AVNN,SDNN,IQR,RMSSD,NN50,pNN50}，

其中AVNN代表RR间期序列的均值，SDNN代表RR间期序列的标准差，IQR代表四分差，RMSSD代表相邻RR间期差值的均方根值，NN50代表RR间期序列中相邻RR间期之差大于50ms的个数，pNN50代表RR间期序列中相邻RR间期之差大于50ms个数占总RR间期个数的百分比。

3.根据权利要求2所述的基于多模态混合融合的驾驶员愤怒情绪识别方法，其特征在于：步骤一中，所采集的汽车行驶参数包括汽车行驶过程中的平均车速v、平均加速度a、方向盘的转动幅度s、加速踏板的平均深度t₁以及制动踏板的平均深度t₂。

4.根据权利要求3所述的基于多模态混合融合的驾驶员愤怒情绪识别方法，其特征在于：步骤二中，将驾驶员的心电特征和汽车行驶参数进行拼接融合形成新的特征向量，具体为：

[AVNN,SDNN,IQR,RMSSD,NN50,pNN50,v,a,s,t₁,t₂]^T。

5.根据权利要求1所述的基于多模态混合融合的驾驶员愤怒情绪识别方法，其特征在于：步骤二中，降维方法为主成分分析法。

6.根据权利要求1所述的基于多模态混合融合的驾驶员愤怒情绪识别方法，其特征在于：步骤四中，两种驾驶员愤怒情绪识别模型输出的情绪种类的概率利用D-S证据理论进行决策融合的合成规则如下：

式中m₁(A)表示随机森林算法分类器对命题A的支持程度，即基本概率数；m₂(A)表示softmax分类器对命题A的支持程度；

K表示归一化常数：

其中A表示合成后输出结果，即驾驶员是愤怒情绪或者非愤怒情绪；B表示随机森林算法分类器输出的结果，即驾驶员愤怒情绪或非愤怒情绪；C表示softmax分类器输出结果，即驾驶员愤怒情绪或非愤怒情绪；通过D-S证据理论对上述两种分类器输出情绪种类的概率进行决策融合，输出最终的驾驶员情绪识别结果。