[发明专利]一种基于注意力机制的图像美学质量评价方法有效
申请号: | 201910553271.2 | 申请日: | 2019-06-25 |
公开(公告)号: | CN110473164B | 公开(公告)日: | 2021-10-15 |
发明(设计)人: | 宋丹丹;杨知水 | 申请(专利权)人: | 北京理工大学 |
主分类号: | G06T7/00 | 分类号: | G06T7/00;G06N3/04;G06N3/08 |
代理公司: | 北京正阳理工知识产权代理事务所(普通合伙) 11639 | 代理人: | 毛燕 |
地址: | 100081 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 注意力 机制 图像 美学 质量 评价 方法 | ||
1.一种基于注意力机制的图像美学质量评价方法,其特征在于,包括以下步骤:
步骤1:设计网络结构模型;
网络结构模型为:主干网络用深度可分离卷积层,主干网络中插入注意力模块,主干网络后接全局均值池化层、全连接层以及softmax层;注意力模块用于模拟人的视觉机制,对于图像中的重点区域赋予较大的权重;
所述注意力模块为双路注意力模块:面向特征图位置和面向特征图通道的注意力模块;面向特征图位置的注意力模块用于捕捉位置上的长语义关联信息;面向特征图通道的注意力模块用于捕捉通道上的长语义关联信息;
所述面向特征图位置的注意力模块操作如下:
Step1-1:输入特征图C表示通道数,H和W分别表示特征图的高和宽,将A分别经过三个1×1的包含BN和ReLU的卷积层,得到三个新的特征图B、E、D,该卷积操作不改变特征图大小,因此
Step1-2:将B、E、D重整型成其中N=H×W;
Step1-3:将B转置成与E做矩阵乘法,得到特征图并对其做softmax得到空间上的注意力映射图
Step1-4:将S转置成将D和S的转置做矩阵乘法,得到特征图再重整型为
Step1-5:将Step1-4得到的特征图乘以比例因子α,与原特征图A做元素加和运算,得到最终的输出特征图
所述面向特征图通道的注意力模块操作如下:
Step2-1:输入特征图将其重整型为其中N=H×W;
Step2-2:将A转置成A与转置后的A做矩阵乘法,得到特征图并对其做softmax得到通道上的注意力映射图
Step2-3:将X转置成将X的转置和A做矩阵乘法,得到特征图再重整型为
Step2-4:将Step2-3得到的特征图乘以比例因子β,与原特征图A做元素加和运算,得到最终的输出特征图
步骤2:设计用于训练网络的损失函数;
采用下述基于数据均衡的bEMD损失作为损失函数:
其中,p为真实值得分的概率分布,为预测值得分的概率分布;Se为第e张图片的评分人数,为整个数据集中图片的平均评分人数,N为数据集中图片的总数;CDFp(k)是真实得分累积分布函数表示图片第j个真实分值的概率,k表示分值的总数;是预测得分累积分布函数表示图片第j个预测分值的概率;除去权重部分,该公式为CDFp(k)和的闵可夫斯基距离定义,r=1为曼哈顿距离、r=2为欧氏距离、r→∞时为切比雪夫距离;
步骤3:处理训练数据;
将训练数据处理成满足网络结构模型要求的大小;
步骤4:用步骤3中处理好的训练数据、步骤2的损失函数,训练步骤1的网络结构模型得到图像美学质量评价网络;
步骤5:输入图片进行美学评分;
将待评价的图片缩放至所述网络结构模型要求的大小,输入所述图像美学质量评价网络中,得到该图片的每一个评分的概率分布,通过下述公式计算该分布的均值得到图片的美学得分μ:
其中,bi为第i个分值,表示第i个分值的概率,k表示分值的总数。
2.根据权利要求1所述的方法,其特征在于,所述主干网络采用8层深度可分离卷积层,第6层后插入注意力模块。
3.根据权利要求1-2任一所述的方法,其特征在于,所述处理训练数据还包括获取图片和相应标签内容,所述将训练数据处理成满足所述网络结构模型要求的大小为先将图片缩放至略大于所述网络结构模型要求的大小,然后再随机裁剪成所述网络结构模型要求的大小,接下来再随机翻转以增强数据;标签为图片每一个分值的得分数,通过以下公式归一化作为图片的真实得分分布:
其中,pi为第i个分值的概率,Ri为第i个分值的评分人数,Rj为第j个分值的评分人数,k为分值的数量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京理工大学,未经北京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910553271.2/1.html,转载请声明来源钻瓜专利网。
- 彩色图像和单色图像的图像处理
- 图像编码/图像解码方法以及图像编码/图像解码装置
- 图像处理装置、图像形成装置、图像读取装置、图像处理方法
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像解密方法、图像加密方法、图像解密装置、图像加密装置、图像解密程序以及图像加密程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序以及图像解码程序
- 图像编码方法、图像解码方法、图像编码装置、图像解码装置、图像编码程序、以及图像解码程序
- 图像形成设备、图像形成系统和图像形成方法
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序
- 图像编码装置、图像编码方法、图像编码程序、图像解码装置、图像解码方法及图像解码程序