[发明专利]一种基于生物雷达和语音信息的双模态融合情绪识别方法

说明书

本发明提出了一种基于生物雷达和语音信息的双模态融合情绪识别方法，通过外部设备雷达和麦克风获取生理信息和语音信息，所述生理信息包括呼吸信息和心跳信息，通过预先训练好的特征提取网络从所述生理信息和语音信息中提取出生理特征和语音特征，并将所述生理特征和语音特征进行融合，融合后的特征输入至预先训练好的深度卷积神经网络中，所述深度卷积神经网络包括标签互不相同的第一分类器和第二分类器，所述第一分类器与第二分类器均为决策树分类器，通过所述第一分类器和所述第二分类器分别得出不同类型的生理情绪评价信息和语音情绪评价信息，使得合并后的用户情绪评价信息更加客观和具有参考价值，从而提高情绪识别的精度。

技术领域

本申请涉及情绪识别领域，特别是一种基于生物雷达和语音信息的双模态融合情绪识别方法。

背景技术

情绪是生理上一种较复杂而稳定的生理评价和体验，是人对客观事物的态度体验以及相应的行为反应，现代人们面临着各种各样的学习、生活和工作压力，可能长时间处于负面情绪和亚心理健康状态。情绪识别有助于人们了解自己和他人的情绪，从而及时调整情绪，对人体心理健康具有巨大价值。特别是对于一些特殊群体，例如驾驶员、服务人员、医护人员等等，该类人群的情绪健康甚至会影响公共安全和社会稳定。因此，对情绪进行分析和识别是神经科学、心理学、认知科学、计算机科学和人工智能等领域的一项重要的交叉学科研究课题。

情绪信息主要表现在内外两个层面：一是外在情绪信息，是指通过外表能自然观察到的信息，如面部表情、唇动、声音、姿势等，二是内在情绪信息，是指外部观察不到的生理信息，如心率、脉搏、血压、脑电波等，常见的情绪识别研究方法主要分为生理信号与非生理信号两类，其中非生理信号主要是通过外表信息识别，例如面部表情、语音、身体姿态等，生理信号主要通过内在情绪识别，例如呼吸信号、心电信号、脑电信号等。

但是人体的情绪是复杂多变的，单独测量其中某一项信息判断情绪特征准确率低，为了提高准确率，特此提出本发明。

发明内容

本发明的目的在于提出一种基于生物雷达和语音信息的双模态融合情绪识别方法，充分利用双模态融合，获得更多的情绪信息，能够根据用户语音及生理信息判断情绪状态。

实现本发明目的的技术解决方案为：一种基于生物雷达和语音信息的双模态融合情绪识别方法，包括以下步骤：

步骤一、通过外部设备雷达和麦克风获取生理信息和语音信息，将所述生理信息和所述语音信息输入事先训练好的特征提取网络，分别提取出生理特征和语音特征。

步骤二、所述获取生理信息和语音信息后，还包括：对所述生理信息和语音信息进行预处理。

步骤三、所述初始信息的生理信息预处理具体包括以下步骤：

1)对ADC数据执行快速傅立叶变换(FFT)以获取Range曲线；

2)确定目标的距离范围，获取目标对应的Range bin，提取目标Range bin处的相位；

3)相位解缠绕，获取实际的位移曲线。

步骤四、所述初始信息的语音信息预处理具体包括以下步骤：

1)将采集的语音信息预加重，使信号的频谱变得平坦；

2)将采集的语音信号进行分帧加窗处理，得出语音分析帧；

3)对所述语音分析帧进行短时傅里叶变换，得出语音声谱图。

步骤五、所述生理特征的提取具体包括以下步骤：

1)对人体生理体征信号进行带通滤波，滤除原始体征信号0.2Hz以下的漂移信号和2Hz以上的噪声信号，将0.2Hz-0.9Hz的信号归类为呼吸信号，将0.9Hz-2.0Hz的信号归类为心跳信号；