[发明专利]一种基于自生成全局特征和注意力的图像美学预测方法

说明书

本发明公开了一种基于自生成全局特征和注意力的图像美学预测方法，对深度分类网络中的自生成全局特征和注意力机制模块进行优化训练，最小化输入得分分布和预测得分分布的差异，得到预测得分分布和真实得分输入分布的相似度，使用面向有序分类的深度学习网络对图形美学进行评估，采用面向有序分类的混合损失函数，无需手工提取特征时需要的技巧性，发觉隐藏在图像和美学评分之间的关联性，突破对图像美学二分的分类方法；本发明在深度网络中嵌入注意力机制和自生成全局特征，在对图像整体进行评估的同时，重点提取相关的图像元素特和图像整体的全局特征，实现更加精准的图像美学评估。

技术领域

本发明属于人工智能技术领域，涉及一种基于自生成全局特征和注意力的图像美学预测方法。

背景技术

图像美学预测是一个经典的机器视觉任务，它为图像美化，图像排序，图像检索等多媒体应用奠定了基础。特别在商业应用中，修图师需要对海量的原始图片进行筛选，传统的手工挑选需要耗费的大量的人力财力。因此，如何能够对图像美学进行快速的评判是挑选图片的关键技术。

基于深度特征的图像美学预测方法，无需手工提取特征时需要的技巧性，发觉隐藏在图像和美学评分之间的关联性，已经成为图像美学预测的首选方法，然而当该类方法应用于实际的图像美学预测时，通常会遇到以下限制：1)大多数的图像美学预测方法将图像分类到高美学/低美学二分类，但是该分类方法在图像美化等领域不具备实用性，D.Liu,R.Puri,N.Kamath,S.Bhattacharya,2019,Modeling image composition for visualaesthetic assessmen提出了评估图像组成部分对图像整体美学进行评分，尽管该方法在AVA等实验数据集取得较好的效果，但是因缺乏对图像更多等级的评分，无法满足修图师日常的筛图需求。2)当前的基于卷积神经网络的方法忽略图像中不同组成部分对最终图像美学评估的权重影响，导致现有的图像评价方法无法集中在图像的受注意区域。H.Talebi,P.Milanfar，2019,Nima:Neural image assessment提出使用深度特征将图像划分为10个连续的等级，但因未考虑图像中不同元素起到的作用不同，在对元素多元的图像评估效果不佳。3)基于卷积神经网路的方法忽略了对图像的美学评价应当依赖可以反映图像的整体光线特征或者物体类别等信息的总体特征，导致现有的图像美学评价方法集中在局部特征领域，无法客观的反映出图像的整体美学信息。Predicting image aesthetics usingobjects in the scene,in:Proceedings of the 2018International Joint Work-shopon Multimedia Artworks Analysis and Attractiveness Computing inMultimedia,ACM,2018,pp.14–1将图中的目标信息完整性当做美学评价指标，但缺乏对图像整体信息的描述，导致模型在目标较多或者无明显目标的情形下表现不佳。

发明内容

本发明的目的在于提供一种基于自生成全局特征和注意力的图像美学预测方法，以克服现有技术的不足。

为达到上述目的，本发明采用如下技术方案：

一种基于自生成全局特征和注意力的图像美学预测方法，包括以下步骤：

步骤1)、对深度分类网络中的自生成全局特征和注意力机制模块进行优化训练，最小化输入得分分布和预测得分分布的差异，得到预测得分分布和真实得分输入分布的相似度；

步骤2)、采用训练后的深度分类网络进行图像的特征提取，对于提取的图像特征进行图像美学评价参数，基于图像美学评价参数进行图像美学的评分。

进一步的，深度分类网络采用基于深度卷积的分类网络，以RGB图像及其多个得分数值作为分类网络的输入，分类网络的输出为图像的美学预测得分分布。