[发明专利]图像细粒度情感预测方法、电子设备及存储介质

说明书

本发明的实施例提供一种图像细粒度情感预测方法，该方法包括：基于情感词之间的相关性对描述图像情感的多个情感词进行分组，获得多个情感词集合，其中，每个情感词集合具有一个代表情感词；预测目标图像的每个代表情感词对应的代表情感值；以及基于每个情感词集合的代表情感词的代表情感值预测所述目标图像的该情感词集合中剩余情感词对应的情感值。本发明的另一实施例还提供一种电子设备和一种计算机可读存储介质。

技术领域

本发明涉及图像情感预测技术领域，尤其涉及一种小样本细粒度图像情感预测方法，具体来说涉及一种图像细粒度情感预测方法、电子设备及存储介质。

背景技术

伴随着多媒体与互联网等产业的迅猛发展，人们倾向于将图像上传到各网络平台来分享自己的经历与感受。图像作为载体，比文本蕴藏更多信息，图像本身更易超越文化和时间的障碍，向人们传递着更加丰富的情感信息以及意境。对图像数据进行检测，获取相关信息，建立起有意义的内容描述，是图像理解与计算机视觉的重要研究内容，而如何解释和提取图像中蕴含的情感信息，成为近年来的一项研究热点。从用户的体验角度出发，情感的类别可能是多样的，尤其是同艺术表达相关的图像，例如抽象画、影视剧照、美术插图等。

在实现本发明构思的过程中，发明人发现相关技术中至少存在如下问题：相关技术中图像情感预测往往采用的是正负向的分类情感或基于人类基本情感的6类或8类情感类型，而且给出的多为情感标签，缺少对情感激发程度的有效预测。

发明内容

有鉴于此，本发明要解决的技术问题在于提供一种图像细粒度情感预测方法、设备及介质，解决了相关技术中图像情感预测中不能有效预测图像的情感激发程度的问题。

为了解决上述技术问题，本发明的具体实施方式提供一种图像细粒度情感预测方法，包括：基于情感词之间的相关性对描述图像情感的多个情感词进行分组，获得多个情感词集合，其中，每个情感词集合具有一个代表情感词；预测目标图像的每个代表情感词对应的代表情感值；以及基于每个情感词集合的代表情感词的代表情感值预测所述目标图像的该情感词集合中剩余情感词对应的情感值。

根据本发明的可选实施例，基于情感词之间的相关性对描述图像情感的多个情感词进行分组，获得多个情感词集合的步骤，包括：采用主成分分析法获得多个情感词的因子载荷矩阵，其中，所述因子载荷矩阵由因子载荷值组成；根据所述因子载荷矩阵确定多个因子和多个情感词集合，其中，多个情感词的最大因子载荷值对应的因子与情感词一一对应；以及采用随机森林算法确定每个情感词集合的代表情感词。

根据本发明的可选实施例，确定每个情感词集合的代表情感词的步骤，包括：采用随机森林算法为每个情感词分别构建初始图像情感预测模型；根据所述初始图像情感预测模型确定每个情感词集合内情感词的预测准确率；以及基于所述预测准确率确定每个情感词集合的代表情感词。

根据本发明的可选实施例，预测目标图像的每个代表情感词对应的代表情感值的步骤，包括：提取所述目标图像的多维初始图像特征；针对每个情感词，基于最小绝对收缩选择算子和随机森林特征重要性组合降维方式对多维初始图像特征进行降维获得降维图像特征；以及基于降维图像特征预测每个代表情感词对应的代表情感值。

根据本发明的可选实施例，所述初始图像特征包括底层特征、高层特征和关键区域特征，所述底层特征包括颜色特征和纹理特征，所述高层特征包括美学特征和构图特征，所述关键区域特征包括颜色矩特征和形状对比度特征。

根据本发明的可选实施例，基于降维图像特征预测每个代表情感词对应的代表情感值的步骤，包括：基于集成学习方法建立每个代表情感词对应的图像情感预测模型；以及将降维图像特征输入每个代表情感词对应的图像情感预测模型获得该代表情感词对应的代表情感值。