[发明专利]一种基于生物雷达和语音信息的双模态融合情绪识别方法

权利要求书

1.一种基于生物雷达和语音信息的双模态融合情绪识别方法，其特征在于，包括以下步骤：

步骤1：通过外部设备雷达和麦克风获取情绪待识别用户的生理信息和语音信息，将所述生理信息和所述语音信息输入至预先训练好的特征提取网络，分别提取生理特征和语音特征；

步骤2：将所提取的生理特征和语音特征进行特征融合；

步骤3：将融合特征输入至预先训练好的深度卷积神经网络，所述深度卷积神经网络包括标签互不相同的第一分类器和第二分类器；

步骤4：获取所述标签互不相同的第一分类器输出的生理情绪评价信息和第二分类器输出的语音情绪评价信息，将所述生理情绪评价信息和所述语音情绪评价信息合并成为用户情绪评价信息。

2.根据权利要求1所述的一种基于生物雷达和语音信息的双模态融合情绪识别方法，其特征在于，所述获取生理信息包括心跳信号、呼吸信号。

3.根据权利要求1所述的一种基于生物雷达和语音信息的双模态融合情绪识别方法，其特征在于，所述获取生理信息，提取生理特征包括以下步骤：

步骤1：在情绪待识别用户躯干满足微动状态下，利用调频连续波雷达获取人体生理体征信号，对原始人体生理体征信号进行带通滤波，滤除原始体征信号的漂移信号和噪声信号，将滤波后的信号归类为呼吸信号和心跳信号；

步骤2：提取呼吸信号和心跳信号的时间特征、波形特征和频域特征，对提取的上述呼吸信号、心跳信号特征进行PCA降维，降至二维数据，获得生理特征，并输入所述第一分类器中，得到生理情绪评价信息。

4.根据权利要求3所述的一种基于生物雷达和语音信息的双模态融合情绪识别方法，其特征在于，所述提取呼吸信号和心跳信号的时间特征、波形特征和频域特征，包括以下步骤：

步骤1：对情绪待识别用户的呼吸信号，心跳信号进行非高斯核函数的时频分析，得到时频分布矩阵，提取时间特征；

步骤2：对所述时频分布矩阵进行分析处理,通过分析矩阵中各元素的物理意义,提取能量中心点，得到含有调制类型特征的一维波形特征向量，提取波形特征；

步骤3：对所述含有调制类型特征的一维波形特征向量进行傅里叶变换得到频域信息，提取频域特征。

5.根据权利要求1所述的一种基于生物雷达和语音信息的双模态融合情绪识别方法，其特征在于，所述获取语音信息，提取语音特征包括以下步骤：

步骤1：利用麦克风获取人体原始的语音信号，所述原始的语音信号是连续的模拟信号，需要对语音进行采样，转化为时间轴上离散的数据，经过采样处理后，模拟信号变成了离散时间信号；

步骤2：对所述语音离散时间信号进行进行分级量化，将信号采样的幅度划分为几个区段，把落在某区段采样到的样品值归为一类，并给出相应的量化值，得到语音数字信号；

步骤3：对所述语音数字信号进行编码、预处理和特征选取，获得语音特征数据，并输入所述第二分类器中，得到语音情绪评价信息。

6.根据权利要求5所述的一种基于生物雷达和语音信息的双模态融合情绪识别方法，其特征在于，所述对所述语音数字信号进行编码、预处理和特征选取，获得语音特征数据，包括以下步骤：

步骤1：利用数字滤波器对所述语音数字信号进行预加重，并利用短时分析技术对预加重后的语音数据进行分帧处理，得到语音特征参数时间序列；

步骤2：利用汉明窗函数对所述语音特征参数时间序列进行加窗处理，进一步，利用双门限比较法对语音加窗数据进行端点检测，得到预处理后的语音数据；

步骤3：对所述预处理后的语音数据进行短时傅里叶变换，得出STFT语音声谱图，提取语音特征数据。

7.根据权利要求1所述的一种基于生物雷达和语音信息的双模态融合情绪识别方法，其特征在于，所述预先训练好的深度卷积网络的训练包括以下步骤：

步骤1：构建语音信息库和生理信息库，获取语音信息库和生理信息库中的语音样本数据，生理样本数据；

步骤2：对所述语音样本数据进行进行分帧加窗处理，得出语音分析帧，对所述语音分析帧进行短时傅里叶变换，得出语音声谱图，提取语音特征数据，生理样本数据中提取呼吸信号和心跳信号，进行降维处理，获得生理特征数据；

步骤3：利用所述语音特征数据，生理特征数据进行训练时间递归神经网络。