[发明专利]基于注意力机制的通用图像美学评估方法、系统及设备

说明书

本发明涉及图像识别以及机器学习技术领域，具体涉及一种基于注意力机制的通用图像美学评估方法、系统及设备，目的在于提高评估结果的正确率。本发明的评估方法包括：将待评估的图像进行尺寸缩放，令缩放后的图像最短边长等于预设的第一长度；在缩放后的图像上随机裁剪预设个数的正方形图像块，令正方形图像块的边长等于预设的第二长度；将每个正方形图像块输入到训练好的卷积神经网络模型中，输出一个对应的二维美感等级置信度向量；计算预设个数的二维美感等级置信度向量的均值；根据该均值对待评估图像进行美学评估。本发明的正确率明显高于现有的技术方案；无需借助图像的额外信息；评估过程耗时少，模型占用空间小。

技术领域

本发明涉及图像识别以及机器学习技术领域，具体涉及一种基于注意力机制的通用图像美学评估方法、系统及设备。

背景技术

通用图像美学评估，旨在利用计算机系统，智能化地判别输入图像美感程度的高低，要求系统给出的判断与具有良好美学品位的人类专家做出的判断具有较高一致性。通用图像美学评估是图像推荐、图像后处理等多项技术的基础之一，而且也是一个交叉学科课题(包括认知心理学、计算机视觉、机器学习等)，因此，有效评估任意输入图像美感程度的高低是一个值得注意与投入的重要问题。

目前主流的通用图像美学评估方法均借助对图像额外信息的利用(如，图像中所含物体类别、图像场景类别、图像属性信息等)，有如下两种技术方案：

技术方案一：结合图像美学等级标签和图像额外信息，将网络模型设计成多任务输出的模式(即，Multi-task learning)。

技术方案二：给定了图像美学等级标签和额外信息的情况下，首先训练图像美学评估的模型和多个相关任务的模型；而后将这些模型某一隐藏层的表示以某种经设计过的方式拼接在一起，并以此为基础来训练一个针对美学评估任务的模型。

上述方案一采取多任务训练的设计方案，旨在通过多任务训练模式来提升数据的利用率，将更多与图像美学评估相关的信息注入到模型中。这类训练方法需要权衡多个任务之间的主次关系，而且无法保证多任务模式一定可以达到目的。

上述方案二采用基于表征聚合的模块(如，取表征向量的统计值作为美学评估模块的输入)，旨在通过有效地结合关于图像的多种属性信息(如，图像的场景信息、图像所包含的物体信息等)，提高图像美学评估的效果。这类设计方法会带来较大的训练量，而且不是一种端到端(End-to-End)的训练模式，无法有效地从数据层面出发完成训练任务。

上述两种方案都需要大量人力对图像额外信息进行标注，且额外信息种类依赖于专家设计，不但耗时耗力，而且不易于维护和扩展。

发明内容

为了解决现有技术中的上述问题，本发明提出了一种基于注意力机制的通用图像美学评估方法、系统及设备，不但提高了分类正确率，而且评估速度更快。

本发明的第一方面，提出一种基于注意力机制的通用图像美学评估方法，所述评估方法包括：

步骤A1，将待评估的图像进行尺寸缩放，令缩放后的图像最短边长等于预设的第一长度；

步骤A2，在所述缩放后的图像上随机裁剪预设个数的正方形图像块，所述正方形图像块的边长等于预设的第二长度；

步骤A3，将每个所述正方形图像块输入到训练好的卷积神经网络模型中，输出一个对应的二维美感等级置信度向量；

步骤A4，计算所述预设个数的所述二维美感等级置信度向量的均值；

步骤A5，根据所述均值，对所述待评估图像进行美学评估。

优选地，所述卷积神经网络模型包括依次连接的主干网络、全连接层和softmax模块；

其中，