[发明专利]情绪识别方法、装置、设备及存储介质

说明书

本发明实施例公开了一种情绪识别方法、装置、设备及存储介质。其中，该方法包括：确定多模态会话信息的融合会话特征；将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中，得到所述多模态会话信息的情绪特征。本发明实施例提供的技术方案，通过将多模态会话信息中每个模态的会话特征融合得到融合会话特征，并将该融合会话特征输入到一个统一的多模态情绪识别模型中，供模型训练，就可直接预测出最终的情绪结果，无需分别训练各模态的识别模型，并进行不同模型结果的融合。简化了样本训练过程，且提高了情绪识别结果的准确性。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种情绪识别方法、装置、设备及存储介质。

背景技术

随着人工智能的发展，智能交互在越来越多的领域中发挥着越来越重要的作用。而智能交互中，一个重要的方向，就是如何识别多模态交互过程中用户当前的情绪状态，从而为整个智能交互系统提供情绪层面的反馈，及时作出调整，以便应对不同情绪状态下的用户，提升整个交互过程的服务质量。

目前，主要情绪识别方法如图1所示，整个过程如下：通过对语音，文本及表情图像等各个模态进行独立建模，并在最后将每个模型的结果融合在一起，根据规则或者机器学习模型，对多个模态的结果进行融合判定，最终输出一个整体的多模态情绪识别结果。

由于同一词语在不同场景下含义不同，表示的情绪状态不同，而上述方法通用性较差；此外，还需要依赖于人力操作采集大量数据，成本较高且结果可控性较差。

发明内容

本发明实施例提供了一种情绪识别方法、装置、设备和存储介质，简化了样本训练过程，且提高了情绪识别结果的准确性。

第一方面，本发明实施例提供了一种情绪识别方法，该方法包括：

确定多模态会话信息的融合会话特征；

将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中，得到所述多模态会话信息的情绪特征。第二方面，本发明实施例还提供了一种情绪识别装置，该装置包括：

融合特征确定模块，用于确定多模态会话信息的融合会话特征；

情绪特征确定模块，用于将所述多模态会话信息的融合会话特征输入预先构建的多模态情绪识别模型中，得到所述多模态会话信息的情绪特征。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现第一方面中任意所述的情绪识别方法。

第四方面，本发明实施例还提供了一种存储介质，其上存储有计算机程序，该程序被处理器执行时实现第一方面中任意所述的情绪识别方法。

本发明实施例提供的技术方案，通过将多模态会话信息中每个模态的会话特征融合得到融合会话特征，并将该融合会话特征输入到一个统一的多模态情绪识别模型中，供模型训练，就可直接预测出最终的情绪结果，无需分别训练各模态的识别模型，并进行不同模型结果的融合。简化了样本训练过程，且提高了情绪识别结果的准确性。

附图说明

图1是现有技术提供的一种基于独立模态训练的多模态情感识别示意图；

图2A是本发明实施例一中提供的一种情绪识别方法的流程图；

图2B是本发明实施所适用的基于多模态特征融合学习模型示意图；

图3是本发明实施例二中提供的一种情绪识别方法的流程图；

图4是本发明实施例三中提供的一种情绪识别装置的结构框图；