[发明专利]色调映射图像混合视觉特征提取模型建立及质量评价方法

说明书

本发明公开了一种基于混合视觉特征的图像质量评价方法、建模方法及系统，建模方法包括：将失真图像划分为多个不重叠的图像块、将图像块送入多尺度特征融合网络来提取图像的多尺度内容特征、计算失真图像所对应的梯度图、获得混合视觉感知特征及使用支持向量回归将得到的特征映射到人类主观评分。本发明提供的方法通过结合人类视觉系统中的分层感知机制，设计了新的表达图像质量分层退化的多尺度特征融合网络，该网络能够更全面地表达图像的失真；同时结合人眼视觉初级感知特点，构建了包括图像流和梯度流的双支流特征提取模型。改进后的色调映射图像质量评价模型能够提取到更丰富的图像质量感知特征，并取得较好的准确性和通用性。

技术领域

本发明属于图像处理技术领域，具体涉及一种色调映射图像混合视觉特征提取模型建立及质量评价方法。

背景技术

随着数字成像技术的发展，高动态范围(High Dynamic Range,HDR)图像应运而生。由于HDR图像具有宽广的动态范围和丰富的真实场景图像细节，所以其在视频制作、虚拟现实、遥感探测、医疗和军事等领域都有着巨大的应用价值。但是到目前为止HDR显示器并没有普及，现有图像处理系统主要使用的是常规8位显示设备，HDR远远超出了其可以处理的范围。因此，HDR图像在常规显示器上的可视化不可避免地导致图像信息丢失和感知质量下降。为了在标准的8位显示器上可视化HDR图像，已经提出了各种色调映射算子(TMO)将HDR图像转换为低动态范围(High Dynamic Range，LDR)图像。然而，随着动态范围的转换不可避免地引入了复杂的失真并导致视觉感知质量的下降，因此需要设计一种客观方法来评估色调映射图像(Tone-Mapped Images，TMIs)的质量。无参考图像质量评价(No-ReferenceImage Quality Assessment，NRIQA)是图像处理领域中一项以设计一种不依赖任何先验知识并能够自动评价图像质量的计算模型为目标的研究任务，其研究成果量化了图像的性能，为图像处理其他领域的研究提供了重要依据。

现有的无参考色调映射图像质量评价方法包括两种：第一种旨在设计手工特征描述符，用来提取有效的图像质量退化特征，然后采用非线性回归方法(例如，支持向量回归(Support Vector Regression，SVR))将高维特征回归到质量得分。这类方法基于知识驱动，需要根据人眼视觉系统(Human Visual System，HVS)或自然场景统计(Natural SceneStatistics，NSS)特征手工设计特征描述符。然而，设计出能够有效代表无参考图像质量退化的手工特征是比较困难的。

由于卷积神经网络(Convolutional Neural Network，CNN)丰富而有效的特征表示能力，有人提出了基于CNN的NRIQA，这类方法属于数据驱动。2017年，Abhinau等人提出使用迁移学习方法提取色调映射图像的特征，然后使用SVR将提取的特征映射到质量分数。2018年，He等人考虑到色调映射图像中存在失真的复杂性，在预测图像质量时应该提取不同尺度和不同层次的信息，因此从预训练的深度卷积神经网络模型中提取多尺度和多层特征构建了一种新的无参考色调映射图像质量评价方法，提高了方法的性能。

综上所述，现有的无参考色调映射图像质量评价方法中主要存在以下不足：

(1)当前基于数据驱动的方法主要使用迁移学习或预训练的深度神经网络输出特征进行质量预测，但这并未提取TMI的特定特征并充分考虑图像质量退化，从而导致模型的精度不高。

(2)忽略了由于动态范围的转变TMI可能会产生光晕效果，这在一定程度上影响图像质量，使得人眼视觉系统的图像不同于现实世界，从而导致模型与人眼主观感知一致性较低。

发明内容

本发明的目的在于提供一种基于混合视觉特征的图像质量评价方法、建模方法及系统，用以解决现有技术中的未充分考虑图像质量退化问题导致的评价模型精度不高的问题。

为了实现上述任务，本发明采用以下技术方案：