[发明专利]情绪识别方法、装置、设备及存储介质

权利要求书

1.一种情绪识别方法，其特征在于，包括：

通过分别提取语音会话信息中能够表征情绪变化的特征参数，提取文本会话信息的关键词，以及提取图像会话信息中有效的动态表情特征或静态表情特征，并输入至向量提取模型中，得到语音会话信息的向量表示、图像会话信息的向量表示及文本会话信息的向量表示；其中，所述向量提取模型是一个具有将语音特征、文本关键词及图像特征转换为相应向量表示的综合模型，所述语音会话信息、文本会话信息和图像会话信息分别为模态会话信息；

对至少两种模态会话信息的向量表示进行融合，得到多模态会话信息的融合会话特征的向量表示；

将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中，得到所述多模态会话信息的情绪特征；

其中，对所述至少两种模态会话信息的向量表示进行融合，包括：

分别抽取所述至少两种模态会话信息的向量表示的非线性特征；

对抽取的所述至少两种模态会话信息的非线性特征进行融合。

2.根据权利要求1所述的方法，其特征在于，对所述至少两种模态会话信息的向量表示进行融合，包括：

按照预设的模态顺序，对所述至少两种模态会话信息的向量表示进行顺序拼接。

3.根据权利要求1所述的方法，其特征在于，将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中之前，还包括：

依据多模态会话样本信息的融合会话特征以及所述多模态会话样本信息的情绪特征，对初始机器学习模型进行训练，得到所述多模态情绪识别模型。

4.一种情绪识别装置，其特征在于，包括：

融合特征确定模块，用于确定多模态会话信息的融合会话特征；

情绪特征确定模块，用于将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中，得到所述多模态会话信息的情绪特征；

其中，所述融合特征确定模块包括：

多模态向量确定单元，用于通过分别提取语音会话信息中能够表征情绪变化的特征参数，提取文本会话信息的关键词，以及提取图像会话信息中有效的动态表情特征或静态表情特征，并输入至向量提取模型中，得到语音会话信息的向量表示、图像会话信息的向量表示及文本会话信息的向量表示；其中，所述向量提取模型是一个具有将语音特征、文本关键词及图像特征转换为相应向量表示的综合模型，所述语音会话信息、文本会话信息和图像会话信息分别为模态会话信息；

融合向量确定单元，用于对至少两种模态会话信息的向量表示进行融合，得到多模态会话信息的融合会话特征的向量表示；

其中，所述融合向量确定单元还具体用于：

分别抽取所述至少两种模态会话信息的向量表示的非线性特征；

对抽取的所述至少两种模态会话信息的非线性特征进行融合。

5.根据权利要求4所述的装置，其特征在于，所述融合向量确定单元具体用于：

按照预设的模态顺序，对所述至少两种模态会话信息的向量表示进行顺序拼接。

6.根据权利要求4所述的装置，其特征在于，还包括：

识别模型确定模块，用于依据多模态会话样本信息的融合会话特征以及所述多模态会话样本信息的情绪特征，对初始机器学习模型进行训练，得到所述多模态情绪识别模型。

7.一种设备，其特征在于，所述设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-3中任一项所述的情绪识别方法。

8.一种存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1-3中任一项所述的情绪识别方法。