[发明专利]情绪识别方法及相关产品

权利要求书

1.一种情绪识别方法，其特征在于，包括：

获取指定时间段的针对目标用户的视频片段和音频片段；

对所述视频片段进行分析，得到所述目标用户的目标肢体行为以及目标面部表情；

对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数；

依据所述目标肢体行为、所述面部表情以及所述语音特征参数决策出所述目标用户的目标情绪。

2.根据权利要求1所述的方法，其特征在于，所述对所述视频片段进行分析，得到所述目标用户的肢体行为以及面部表情，包括：

对所述视频片段进行解析，得到多帧视频图像；

对所述多帧视频图像进行图像分割，得到多个目标图像，每一目标图像为所述目标用户的人体图像；

依据所述多个目标图像进行行为识别，得到所述目标肢体行为；

对所述多个目标图像进行人脸识别，得到多个人脸图像；

对所述多个人脸图像进行表情识别，得到多个表情，并将所述多个表情中出现次数最多的表情作为所述目标面部表情。

3.根据权利要求1或2所述的方法，其特征在于，所述依据所述目标肢体行为、所述目标面部表情以及所述目标语音特征参数决策出所述目标用户的目标情绪，包括：

确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值；

确定所述目标面部表情对应的第二情绪集，所述第二情绪集包括至少一个情绪，每一情绪对应一个第二情绪概率值；

确定所述目标语音特征参数对应的第三情绪集，所述第三情绪集包括至少一个情绪，每一情绪对应一个第三情绪概率值；

获取肢体行为对应的第一权值，面部表情对应的第二权值，以及语音特征参数对应的第三权值；

依据所述第一权值、所述第二权值、所述第三权值、所述第一情绪集、所述第二情绪集、所述第三情绪集确定每一类情绪的得分值，得到多个得分值；

从所述多个得分值中选取最大值，将该最大值对应的情绪作为所述目标情绪。

4.根据权利要求3所述的方法，其特征在于，所述目标肢体行为包括至少一个肢体行为；

所述依据所述多个目标图像进行行为识别，得到所述目标肢体行为，包括：

将所述多个目标图像输入到预设神经网络模型中，得到所述至少一个肢体行为，以及每一肢体行为对应的识别概率；

所述确定所述目标肢体行为对应的第一情绪集，所述第一情绪集包括至少一个情绪，每一情绪对应一个第一情绪概率值，包括：

按照预设的肢体行为与情绪之间的映射关系，确定所述至少一个肢体行为中每一肢体行为对应的情绪，得到至少一个情绪，每一情绪对应一个预设概率值；

依据所述每一肢体行为对应的识别概率、所述至少一个情绪中每一情绪对应一个预设概率值进行运算，得到至少一个第一情绪概率值，每一情绪对应一个第一情绪概率值。

5.根据权利要求1-4任一项所述的方法，其特征在于，所述目标语音特征参数包括以下至少一种：目标语速、目标语调、至少一个目标关键字；

所述对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数，包括：

对所述音频片段进行语义分析，得到多个字符；

确定所述多个字符对应的发音时长，以及依据所述多个字符、所述发音时长确定所述语速；

或者，

将所述多个字符进行字符分割，得到多个关键字；

将所述多个关键字与预设关键字集进行匹配，得到所述至少一个目标关键字；

或者，

提取所述语音片段的波形图；

对所述波形图进行解析，得到所述目标语调。

6.一种情绪识别装置，其特征在于，包括:

获取单元，用于获取指定时间段的针对目标用户的视频片段和音频片段；

分析单元，用于对所述视频片段进行分析，得到所述目标用户的目标肢体行为以及目标面部表情；

提取单元，用于对所述音频片段进行参数提取，得到所述目标用户的目标语音特征参数；

决策单元，用于依据所述目标肢体行为、所述面部表情以及所述语音特征参数决策出所述目标用户的目标情绪。