[发明专利]基于通道注意力的无参考型图像质量评价方法

说明书

本发明公开了基于通道注意力的无参考型图像质量评价方法，包括：将图像输入ResNet50网络中，分别通过ResNet50网络的layer1‑4层进行特征提取，得到四个特征；将每个特征分别输入通道注意力层，获取图像的受关注区域特征；将每个受关注区域特征输入到特征增强模块，得到增强特征；将四个增强特征进行融合，经过融合特征；将融合特征输入到质量预测网络中进行质量预测，得到预测结果。通过注意力机制使其获取受关注区域特征，满足人眼视觉感受；通过特征融合模块将低层特征与高层特征有效结合起来，在表征全局信息的同时加强细节信息，获取多尺度信息，实现高精度预测。

技术领域

本发明属于图像处理技术领域，涉及基于通道注意力的无参考型图像质量评价方法。

背景技术

随着多媒体、图像处理以及通信技术的飞速发展，数字图像作为最直观有效的一种信息载体之一，传递着重要的视觉信号，并广泛应用于生活的各个方面。然而图像在采集、压缩、存储、传输过程中由于不可避免的因素，造成图像失真导致图像质量下降，如：拍摄抖动，曝光不均等问题都会造成图像质量退化。图像质量对人类视觉信息的获取影响很大，若图像质量较低不仅会影响观感效果而且不能准确捕获有用信息。因此，在获取图像的各个阶段能有效地评价输出图像的视觉感知质量具有非常重大的意义。

图像质量评价分为全参考型、半参考型与无参考型，其中全参考与半参考都需要参考图像的参与，无参考型直接对失真图像进行处理。由于在现实生活中很难找到参考图像，近年来，无参考型图像质量评价成为研究的热点，很多的研究者都在研究这个技术。目前，大多数现有的方法都是采用深度学习的图像质量评价框架，文献(Kang L,Ye P,Li Y,et al.Convolutional neural networks for no-reference image quality assessment[C]//Proceedings of the IEEE conference on computer vision and patternrecognition.2014:1733-1740.)首次将卷积神经网络运用到无参考图像质量评价中，在该模型中只使用了简单的卷积与池化操作。基于此无参考图像质量评价快速发展。文献(Bosse S,Maniry D,Müller K R,et al.Deep neural networks for no-reference andfull-reference image quality assessment[J].IEEE Transactions on imageprocessing,2017,27(1):206-219.)提出了端到端的图像质量评价方法，将失真图像输入到卷积神经网络中提取相关特征并映射到质量评价网络中进行质量预测，该模型通过微小调整可以用于全参考质量评价。为了解决数据集有限的问题，文献(Liu X,Van De WeijerJ,Bagdanov A D.Rankiqa:Learning from rankings for no-reference image qualityassessment[C]//Proceedings of the IEEE International Conference on ComputerVision.2017:1040-1049.)使用孪生网络对合成失真图像进行排序，扩充数据集，并将训练好的孪生网络迁移到CNN中进行质量预测。与全参考型质量评价相比无参考图像质量评价所面临的一个挑战是缺乏参考图像作对比，因此有研究者将全参考的思想引入到无参考质量评价中。文献(Lin K Y,Wang G.Hallucinated-IQA:No-reference image qualityassessment via adversarial learning[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2018:732-741.)通过生成对抗网络生成失真图像的伪参考图像作为参考图像，随后将伪参考图像与失真图像进行配对，传入到卷积神经网络中学习感知差异，从而达到较为准确的质量预测。文献(Ma Y,Cai X,Sun F,etal.No-reference image quality assessment based on multi-task generativeadversarial network[J].IEEE Access,2019,7:146893-146902.)提出一种基于多任务生成对抗网络的无参考图像的同时生成质量图，并结合具体的损失函数来提高伪参考图像的准确性，从而实现较为准确的预测。