[发明专利]一种基于语音识别和图像识别的情绪检测方法和装置

权利要求书

1.一种基于语音识别和图像识别的情绪检测方法，其特征在于，包括：

获取待检测的一段用户的自拍视频，以及所述自拍视频对应的实际场景；

对所述自拍视频进行处理，得到图像信号和语音信号；

对所述图像信号按照预设周期进行截图处理，获取至少两个图像；

对所述至少两个图像进行表情识别，得到各个图像中的人物表情；

根据各个图像中的人物表情，以及各个图像的先后时间顺序，获取表情变化趋势；

对所述语音信号进行语音识别，获取对应的文字信号；

将所述文字信号以及所述实际场景输入到预设检测模型中，获取所述语音信号在所述实际场景中的初步情绪结果；

融合所述表情变化趋势以及所述初步情绪结果，获取所述用户的最终情绪结果。

2.根据权利要求1所述的基于语音识别和图像识别的情绪检测方法，其特征在于，所述融合所述表情变化趋势以及所述初步情绪结果，获取最终情绪结果，包括：

若所述表情变化趋势为朝向正面表情发展，且所述初步情绪结果为正面情绪，则所述最终情绪结果为正面情绪；

若所述表情变化趋势为朝向负面表情发展，且所述初步情绪结果为负面情绪，则所述最终情绪结果为负面情绪。

3.根据权利要求1所述的基于语音识别和图像识别的情绪检测方法，其特征在于，所述预设检测模型的获取过程包括：

获取至少两个场景中，每一个场景中的至少两个校正文本；

获取各场景中的各校正文本的实际情绪结果；

将所述各场景中的各校正文本输入到已有检测模型中，得到各场景中的各校正文本的检测情绪结果；

获取实际情绪结果和检测情绪结果均为正面情绪的各场景下的各校正文本，得到第一场景下的各第一校正文本，以及实际情绪结果和检测情绪结果均为负面情绪的各场景下的各校正文本，得到第二场景下的各第二校正文本；

根据所述第一场景下的各第一校正文本，以及所述第二场景下的各第二校正文本，调整所述已有检测模型，得到所述预设检测模型。

4.根据权利要求1所述的基于语音识别和图像识别的情绪检测方法，其特征在于，所述对所述至少两个图像进行表情识别，得到各个图像中的人物表情，包括：

对所述至少两个图像进行用户人脸识别，得到所述用户的用户人脸图像；

对各个图像中的用户人脸图像进行表情识别，得到各个图像中的人物表情。

5.根据权利要求4所述的基于语音识别和图像识别的情绪检测方法，其特征在于，所述对各个图像中的用户人脸图像进行表情识别，得到各个图像中的人物表情，包括：

获取第一样本集和第二样本集，所述第一样本集包括至少一个正面表情样本图像，所述第二样本集包括至少一个负面表情样本图像；

对所述第一样本集中的各正面表情样本图像进行标注，得到第一表情类别，第一表情类别为正面表情，对所述第二样本集中的各负面表情样本图像进行标注，得到第二表情类别，第二表情类别为负面表情，所述第一表情类别和第二表情类别构成标注数据；

将所述第一样本集和第二样本集输入至表情识别编码器中进行特征提取，表情识别编码器输出的特征向量输入给Flatten层，经Flatten层处理得到一维特征向量，一维特征向量作为全连接层的输入，全连接层将一维特征向量映射到特征标记空间，然后输出给softmax函数，通过softmax函数输出两个表情类别的概率，根据输出的两个表情类别的概率确定对应的初始表情类别；

将所述初始表情类别与所述标注数据通过交叉熵损失函数进行运算，优化表情识别网络中的参数；

将所述各个图像中的用户人脸图像输入到所述表情识别网络中，得到所述各个图像中的用户人脸图像的人物表情。