[发明专利]一种基于视频的情感识别方法及装置

说明书

本发明实施例公开了一种基于视频的情感识别方法及装置。该方法包括：确定待识别视频的初始特征数据；将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果；其中，所述情感识别模型包括物体关系识别模型、特征提取模型和情感分类模型，其中，所述物体关系识别模型用于识别所述待识别视频中的物体关系，所述特征提取模型用于提取所述初始特征数据的至少一种视频特征，所述情感分类模型用于基于所述物体关系和所述视频特征确定所述待识别视频的情感识别结果。本发明实施例通过在情感识别模型中加入物体关系识别模型，解决了视频情感识别效果不佳的问题，为视频情感识别提供了更全面的识别框架。

技术领域

本发明实施例涉及情感识别技术领域，尤其涉及一种基于视频的情感识别方法及装置。

背景技术

随着移动设备和互联网的快速发展，视频内容理解成为了日益增长的需求。许多研究者针对视频动作识别、检测等任务进行了大量的研究。然而，视频内情感的表达是视频理解中重要的环节，直观来说，则是将视频根据内容分为不同的情感类别，如开心、吃惊或悲伤等。视频的情感识别在实际生产中有很多应用，例如，广告推荐系统可以通过匹配广告与视频中的情感来避免推荐不恰当的广告。

早期针对情感识别的研究集中在文本情感识别和图像情感识别，研究者通过文本、颜色、纹理、形状等底层特征帮助情感识别。之后，研究者针对视频情感的研究大多集中在电影领域，类似的底层特征在电影视频的情感分析中也起到了很大的作用。近年来，神经网络在越来越多的计算机视觉领域取得了较好的效果，如图像分类、物体检测等。一些研究者也将神经网络运用到了情感识别中，实现了相比底层特征更好的识别效果。

然而，由于手机、相机等视频捕捉设备的发展，视频分享网站上越来越多的出现了用户生成视频。相比电影视频，用户生成视频没有经过专业编辑，内容更多样，但视频质量往往较差。因此，仅通过神经网络学习的视觉信息对于高维的情感识别仍是不够的，分类识别效果往往不佳。

发明内容

本发明实施例提供了一种基于视频的情感识别方法及装置，为视频情感识别提供了更全面的识别框架，以提高视频情感识别的准确率。

第一方面，本发明实施例提供了一种基于视频的情感识别方法，该方法包括：

确定待识别视频的初始特征数据；

将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果；

其中，所述情感识别模型包括物体关系识别模型、特征提取模型和情感分类模型，其中，所述物体关系识别模型用于识别所述待识别视频中的物体关系，所述特征提取模型用于提取所述初始特征数据的至少一种视频特征，所述情感分类模型用于基于所述物体关系和所述视频特征确定所述待识别视频的情感识别结果。

第二方面，本发明实施例还提供了一种基于视频的情感识别装置，该装置包括：

初始特征数据确定模块，用于确定待识别视频初始特征数据；

情感识别结果输出模块，用于将所述初始特征数据输入到预先训练完成的情感识别模型中，得到与所述待识别视频对应的情感识别结果；

其中，所述情感识别模型包括物体关系识别模型、特征提取模型和情感分类模型，其中，所述物体关系识别模型用于识别所述待识别视频中的物体关系，所述特征提取模型用于提取所述初始特征数据的至少一种视频特征，所述情感分类模型用于基于所述物体关系和所述视频特征确定所述待识别视频的情感识别结果。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；