[发明专利]一种多模态情感识别方法、装置、电子设备及存储介质

权利要求书

1.一种多模态情感识别方法，其特征在于，所述方法包括：

提取待识别视频中目标待识别人物的第一特征信息，其中，所述待识别视频为包含至少一个待识别人物的视频，所述第一特征信息为多种特征信息，每个待识别人物均具有多种特征信息；

基于所述第一特征信息，从预先得到的多组个性化差异消除参数中，选择目标个性化差异消除参数，其中，视频样本集中每个包含同一样本人物的第一视频样本子集，对应一组个性化差异消除参数，每组个性化差异消除参数，是根据对应的第一视频样本子集的第二特征信息、该第一视频样本子集中各个视频样本的中性情感标签和非中性情感标签得到的，每个视频样本具有一种情感标签，所述第二特征信息的种类与所述第一特征信息的种类相同；

基于所述目标个性化差异消除参数，对所述第一特征信息进行个性化差异消除，得到消除个性化差异后的第一特征信息；

将所述消除个性化差异后的第一特征信息，输入至预先训练得到的情感识别模型中，得到所述待识别视频的情感识别结果；

其中，所述每组个性化差异消除参数，是通过以下方式得到的：

提取所述视频样本集中每个视频样本的第二特征信息；

确定所述视频样本集中第N-1次迭代得到的标记有中性情感标签的视频样本的第二特征信息的第一平均值，和所述视频样本集的第一视频样本子集中第N-1次迭代得到的标记有中性情感标签的视频样本的第二特征信息的第二平均值，其中，N大于或等于2，第1次迭代时所述视频样本集中的各个视频样本的情感标签均为预先标记的；

基于所述第一平均值和所述第二平均值，确定第N-1次迭代得到的所述第一视频样本子集的待定个性化差异消除参数；

基于所述第N-1次迭代得到的第一视频样本子集的待定个性化差异消除参数，对所述第一视频样本子集中的视频样本的第二特征信息进行个性化差异消除，得到第N-1次迭代时所述第一视频样本子集对应的消除个性化差异后的第二特征信息；

基于所述第N-1次迭代时所述第一视频样本子集对应的消除个性化差异后的第二特征信息，对所述第一视频样本子集中的视频样本进行二分类，得到第一视频样本子集中第N次迭代时标记有中性情感标签的视频样本和标记有非中性情感标签的视频样本；

确定所述第一视频样本子集中第N次迭代时标记有中性情感标签的视频样本的第二特征信息的第三平均值和所述视频样本集中第N次迭代得到的标记有中性情感标签的视频样本的第二特征信息的第四平均值；

基于所述第三平均值和所述第四平均值，确定第N次迭代得到的所述第一视频样本子集的待定个性化差异消除参数；

基于所述第一视频样本子集中第N次迭代时标记有中性情感标签的视频样本、第N次迭代时标记有非中性情感标签的视频样本、第N-1次迭代得到的标记有中性情感标签的视频样本以及第N-1次迭代得到的标记有非中性情感标签的视频样本，确定所述第一视频样本子集的标签改变率；

在所述第一视频样本子集的标签改变率小于或等于预设改变率阈值时，将所述第N次迭代得到的所述第一视频样本子集的待定个性化差异消除参数，确定为所述第一视频样本子集的个性化差异消除参数；

否则，将所述第N次迭代得到的所述第一视频样本子集的待定个性化差异消除参数，作为所述第N-1次迭代得到的所述第一视频样本子集的待定个性化差异消除参数，并执行所述基于所述第N-1次迭代得到的第一视频样本子集的待定个性化差异消除参数，对所述第一视频样本子集中的视频样本的第二特征信息进行个性化差异消除，得到第N-1次迭代时所述第一视频样本子集对应的消除个性化差异后的第二特征信息的步骤；

所述预先训练得到的情感识别模型是通过以下步骤得到的：

获取所述视频样本集中每个第一视频样本子集的个性化差异消除参数和该第一视频样本子集的第二特征信息；

针对每个第一视频样本子集，基于第一视频样本子集的个性化差异消除参数和该第一视频样本子集的第二特征信息，确定该第一视频样本子集的消除个性化差异后的第二特征信息，

基于所有第一视频样本子集的消除个性化差异后的第二特征信息和对应的第二情感标签，对预设的情感识别模型进行训练，得到所述预先训练得到的情感识别模型。