[发明专利]训练感情识别模型的方法、感情识别方法及装置

权利要求书

1.一种训练感情识别模型的方法，其特征在于，所述方法包括：

获取包含多个第一训练样本的训练数据，所述第一训练样本被标注有情感标签和情绪标签；

利用所述训练数据训练所述感情识别模型；其中，所述感情识别模型包括编码网络和解码网络；

所述编码网络对所述第一训练样本进行特征编码，得到所述第一训练样本的特征表示；

所述解码网络利用所述第一训练样本的特征表示进行解码，得到感情信息的识别结果，所述感情信息包括情感信息和/或情绪信息；

所述训练的目标包括：最小化所述感情识别模型得到的识别结果与对应的第一训练样本被标注的标签之间的差异。

2.根据权利要求1所述的方法，其特征在于，所述获取包含多个第一训练样本的训练数据包括：

获取多个标注有情感标签的第二训练样本以及多个标注有情绪标签的第三训练样本；

确定与缺少情绪标签的第二训练样本之间相似度满足预设要求的第三训练样本，利用确定出的该第三训练样本的情绪标签为该缺少情绪标签的第二训练样本进行情绪标签的标注；以及，确定与缺少情感标签的第三训练样本之间相似度满足预设要求的第二训练样本，利用确定出的该第二训练样本的情感标签为该缺少情感标签的第三训练样本进行情感标签的标注；

将第二训练样本和第三训练样本中同时标注有情绪标签和情感标签的训练样本作为所述第一训练样本。

3.根据权利要求2所述的方法，其特征在于，所述情感标签包括情感类型标签和情感分数标签；

所述确定与缺少情感标签的第二训练样本之间相似度满足预设要求的第一训练样本，利用确定出的该第一训练样本的情感标签为该缺少情感标签的第二训练样本进行情感标签的标注包括：

确定与缺少情感标签的第二训练样本之间相似度最高的第一训练样本，将该第一训练样本的情感类型标签作为该缺少情感标签的第二训练样本的情感类型标签，利用该第一训练样本的情感分数标签与相似度值的乘积对该缺少情感标签的第二训练样本进行情感分数标签的标注，其中所述相似度值为该第一训练样本和该缺少情感标签的第二训练样本之间的相似度值。

4.根据权利要求1所述的方法，其特征在于，所述第一训练样本包括N种模态的子样本，所述N为大于1的正整数；

所述编码网络包括N个编码子网络和多模态融合网络；

所述N个编码子网络分别对应其中一种模态，对所对应模态的子样本进行特征提取，得到各种模态的特征表示；

所述多模态融合网络将N种模态的特征表示进行融合，得到融合特征表示作为所述第一训练样本的特征表示。

5.根据权利要求4所述的方法，其特征在于，所述多模态融合网络包括多层融合子网络；所述多模态融合网络将N种模态的特征表示进行融合，得到融合特征表示作为所述第一训练样本的特征表示包括：

第一层融合子网络将所述N种模态中的第一模态的特征表示与其他模态的特征表示进行点乘后，将点乘得到的表示进行线性变换，将线性变换得到的表示与第一模态的特征表示进行相加后经过神经网络的处理，得到第一层输出的融合特征表示；

其它层融合子网络将上一层输出的融合特征表示与所述其他模态的特征表示进行点乘后，将点乘得到的表示进行线性变换，将线性变换得到的表示与上一层输出的融合特征表示进行相加后经过神经网络的处理，得到当前层输出的融合特征表示。

6.根据权利要求5所述的方法，其特征在于，所述训练目标还包括：最小化相同第一训练样本内所述其他模态的特征表示与融合特征表示之间的距离，以及最大化不同训练样本间所述其他模态的特征表示与融合特征表示之间的距离。

7.根据权利要求5所述的方法，其特征在于，所述N种模态的子样本包括文本样本，还包括音频样本和视频样本中的至少一种；所述第一模态为文本。