[发明专利]一种基于视频的情感识别方法及装置

权利要求书

1.一种基于视频的情感识别方法，其特征在于，包括：

确定待识别视频的初始特征数据；

将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果；

其中，所述情感识别模型包括物体关系识别模型、特征提取模型和情感分类模型，其中，所述物体关系识别模型用于识别所述待识别视频中的物体关系，所述特征提取模型用于提取所述初始特征数据的至少一种视频特征，所述情感分类模型用于基于所述物体关系和所述视频特征确定所述待识别视频的情感识别结果。

2.根据权利要求1所述的方法，其特征在于，所述初始特征数据包括RGB图像数据、光流图像数据、音频数据和文本数据中的至少一项；

其中，所述将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果，包括：

将所述RGB图像数据输入到所述物体关系识别模型中，得到输出的物体关系特征；

将所述初始特征数据输入到所述特征提取模型中，得到输出的与各初始特征数据对应的视频特征；

将所述物体关系特征和所述视频特征输入到所述情感分类模型中，得到输出的情感识别结果。

3.根据权利要求2所述的方法，其特征在于，所述物体关系识别模型用于：

提取所述RGB图像数据中的视觉特征、位置特征和语义特征；

将所述视觉特征、位置特征和语义特征进行融合得到融合特征，并基于所述融合特征得到所述RGB图像数据中的物体关系特征。

4.根据权利要求3所述的方法，其特征在于，所述物体关系识别模型还用于：

针对每种物体关系特征，构建与所述物体关系特征对应的注意力图，并根据能量函数计算得到与所述注意力图对应的激活程度；

基于各所述激活程度，得到超过预设阈值的激活程度对应的物体关系特征。

5.根据权利要求4所述的方法，其特征在于，所述根据能量函数计算得到与所述注意力图对应的激活程度，包括：

根据能量函数和滑动窗口，计算所述注意力图在至少一个窗口区域内的激活程度；

将所述各窗口区域内的满足预设激活条件的激活程度作为与所述注意力图对应的激活程度，其中，所述预设激活条件包括最大激活程度。

6.根据权利要求2所述的方法，其特征在于，所述情感分类模型用于：

将所述物体关系特征和所述视频特征分别映射到关系特征情感空间和视频特征情感空间；

基于所述映射后的物体关系特征和视频特征确定情感识别结果。

7.根据权利要求2-6任一所述的方法，其特征在于，所述情感分类模型的训练方法包括：

基于所述物体关系识别模型和特征提取模型，确定待训练视频的待训练物体关系特征和待训练视频特征；

将所述待训练物体关系特征和待训练视频特征分别映射到关系特征情感空间和视频特征情感空间；

基于所述映射后的待训练物体关系特征和待训练视频特征确定特征损失函数，并基于特征损失函数和分类损失函数对初始情感分类模型的参数进行调整得到训练完成的情感分类模型。

8.根据权利要求7所述的方法，其特征在于，所述特征损失函数满足公式：

其中，R和V分别表示关系特征情感空间和视频特征情感空间，i表示第i个视频，m和m'表示关系特征情感空间中的物体关系特征或视频特征情感空间中的视频特征，f_i^m(k)表示k情感空间中第i个视频m特征，f_i^m'(k)表示k情感空间中第i个视频m'特征。

9.根据权利要求2所述的方法，其特征在于，所述物体关系识别模型的训练方法还包括：

基于排序损失函数对初始物体关系识别模型的参数进行调整得到训练完成的物体关系识别模型；

相应的，所述物体关系识别模型的输出结果还包括：各物体关系特征的排序等级。

10.一种基于视频的情感识别装置，其特征在于，包括：

初始特征数据确定模块，用于确定待识别视频初始特征数据；

情感识别结果输出模块，用于将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果；

其中，所述情感识别模型包括物体关系识别模型、特征提取模型和情感分类模型，其中，所述物体关系识别模型用于识别所述待识别视频中的物体关系，所述特征提取模型用于提取所述初始特征数据的至少一种视频特征，所述情感分类模型用于基于所述物体关系和所述视频特征确定所述待识别视频的情感识别结果。