[发明专利]情绪识别方法、装置、电子设备和存储介质

说明书

本发明提供一种情绪识别方法、装置、电子设备和存储介质，其中方法包括：确定至少两个模态的待识别数据；基于各个模态的情绪识别模型，确定各个模态的待识别数据的情绪概率分布；基于各个模态的情绪概率分布，确定情绪识别结果；情绪识别模型用于对对应模态的待识别数据进行特征提取，并基于特征提取所得的数据特征进行情绪识别；各个模态的情绪识别模型是基于各个模态的样本数据的样本数据特征在同一空间内的特征相似度，和/或，各个模态的样本数据的预测概率分布之间的分布相似度，联合训练得到，利用不同模态的样本数据所表征的情绪信息的一致性，和相同情绪在不同模态间的互补关系训练模型，能够提升模型的泛化能力和情绪识别过程的精准度。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种情绪识别方法、装置、电子设备和存储介质。

背景技术

情绪作为一种主观体验，是人们对外界刺激产生的心理反应，以及附带的生理反应，其在医疗、教育、审讯等领域中有着重要意义。随着人工智能的迅猛发展和深度学习软硬件资源的丰富，人们对于人机交互的关注度越来越高，情绪识别作为人机交互中的一个重要分支，自然成为了热门的研究课题。

目前的情绪识别技术，集中在语音、面部表情、脑电信号、文本等单模态层面，而单模态的情绪识别得准确率较低，识别结果的可信度不高；除此之外，还有一些基于深度学习的情绪识别方法，这类方法通常采用多任务学习的网络结构进行情绪预测，对应地，也是采用多任务学习的方式进行模型训练的，此种训练方式需以不同模态间抽象表征信息完全共享为前提条件，此种情况下，若模型无法聚合得到匹配的高维信息表达，则会导致模型的训练效果不佳，预测性能较差。

发明内容

本发明提供一种情绪识别方法、装置、电子设备和存储介质，用以解决现有技术中因多任务学习的训练方式要求不同模态间的抽象表征信息完全共享，以致在模型无法聚合得到匹配的高维信息表达时，模型训练出现偏差，训练效果不佳的缺陷。

本发明提供一种情绪识别方法，包括：

确定至少两个模态的待识别数据；

基于各个模态的情绪识别模型，确定所述各个模态的待识别数据的情绪概率分布；

基于所述各个模态的情绪概率分布，确定情绪识别结果；

所述情绪识别模型用于对对应模态的待识别数据进行特征提取，并基于特征提取所得的数据特征进行情绪识别；

所述各个模态的情绪识别模型是基于所述各个模态的样本数据的样本数据特征在同一空间内的特征相似度，和/或，所述各个模态的样本数据的预测概率分布之间的分布相似度，联合训练得到。

根据本发明提供的一种情绪识别方法，所述各个模态的情绪识别模型基于如下步骤训练：

基于所述各个模态的初始情绪识别模型，确定所述各个模态的样本数据的样本数据特征和预测概率分布；

将所述各个模态的样本数据的样本数据特征映射到同一空间，得到同一空间内所述各个模态的样本数据的样本投影特征；

基于所述各个模态的样本数据的样本投影特征之间的特征相似度，和/或，所述各个模态的样本数据的预测概率分布之间的分布相似度，确定联合训练损失；

基于所述联合训练损失，对所述各个模态的初始情绪识别模型进行参数迭代，得到所述各个模态的情绪识别模型。

根据本发明提供的一种情绪识别方法，所述基于所述各个模态的样本数据的样本投影特征之间的特征相似度，和/或，所述各个模态的样本数据的预测概率分布之间的分布相似度，确定联合训练损失，包括：

从所述各个模态的样本数据中，选取样本情绪识别结果相同的至少两个模态的样本数据，作为正样本数据集，从所述各个模态的样本数据中，选取样本情绪识别结果不同的至少两个模态的样本数据，作为负样本数据集；