[发明专利]基于深度学习和视觉感知的无参考彩色图像质量评价方法

说明书

本发明公开了基于深度学习和视觉感知的无参考彩色图像质量评价方法，包括如下步骤，获取彩色失真图像，对彩色失真图像进行预处理，得到彩色失真图像的亮度分量和色彩分量；对亮度分量进行分解，获得亮度分量的纹理分量和结构分量，并基于纹理分量、结构分量和色彩分量构建训练集；构建视觉感知网络模型，将训练集输入视觉感知网络模型，并采用反向传播算法对视觉感知网络模型进行迭代训练；基于训练好的视觉感知网络模型对彩色图像质量进行评价。本发明对彩色图像的视觉信息进行了深度挖掘，将人眼感知特性引入深度学习，能够提升自然场景中复杂的失真图像质量的量化精度。

技术领域

本发明属于图像质量评价领域，具体涉及基于深度学习和视觉感知的无参考彩色图像质量评价方法。

背景技术

随着移动通信技术的飞速发展及智能移动设备的不断普及，数字图像以其表达直观且内容丰富的特点，成为了当前主要的传播信息的媒介之一。然而，从产生到被人眼感知的过程中，数字图像不可避免地会产生退化。图像的获取、处理、压缩、传输或存储等过程中经常会产生各种失真。这些失真的存在极大地影响了图像的整体质量，从而降低了人眼对获取图像信息的充分性和准确性。可靠的图像质量评价方法可以帮助量化互联网图像的质量，并从人类观察者的角度准确评估图像处理算法的性能。鉴于此，本发明提出一种基于深度学习和视觉感知的无参考彩色图像质量评价模型。

依据对参考图像依赖程度的不同，客观图像质量评价算法可分为三类：全参考、半参考以及无参考。全参考和半参考主要通过对图像的视觉特征进行分析，计算失真图像与参考图像之间的差异量化值，从而得出失真图像的视觉质量。在过去几十年中，全参考和半参考的质量评价方法已取得了显著成果，但由于在质量预测过程中，这些方法需要将失真图像与之相应的参考图像进行比较，很大程度上限制了它们在实际中的应用。因为在大多数实际情况下，很难甚至无法获得理想而完美的参考图像。相比之下，无参考图像质量评价方法仅将失真图像作为模型输入，而无需参考图像的任何先验信息，具有更好的灵活性和适应性。因此，无参考图像质量评价方法能有效满足现实场景的实际需求，进而成为当前的研究热点。

传统方法的无参考图像质量评价算法一般首先采用人工设计或无监督字典学习获得失真图像的特征，然后利用回归模型如SVR等将特征映射为质量分数。这类方法的局限性在于，获得的特征难以充分表示人类视觉系统对于图像失真的感知规律。随着深度神经网络在图像识别和图像处理领域取得巨大成功，图像质量评价领域也涌现了许多基于深度学习的图像质量评价方法。这些方法不再依赖于任何人工提取的特征，而是使用卷积神经网络自动提取与质量感知相关的更深层特征，通常与人类的主观判断具有更高的一致性。然而人类视觉系统对质量退化的感知不仅与图像特征相关，还与其自身的许多特性相关，比如对比度掩膜效应、多尺度等，而现有的深度学习模型难以学习到这些特性。

发明内容

为解决现有技术中存在的问题，本发明将人类视觉系统感知特性与深度学习相结合，设计了视觉感知指导的卷积神经网络模型。首先，针对人类视觉系统在不同失真类型中，对不同图像区域的敏感度差异，利用基于全变分的图像分解方法将图像分解为结构部分和纹理部分，设计了一个不共享参数的孪生网络来学习两者的特征。为了有效提取色彩分量对质量评价的影响，设计了一个共享参数的孪生网络对I和Q两个色彩通道特征进行学习。此外，针对视觉系统的多尺度特性，在构建网络模型时，通过对卷积层特征的叠加来实现多尺度特征的提取。

为实现上述目的，本发明提供了如下方案：基于深度学习和视觉感知的无参考彩色图像质量评价方法，包括以下步骤：

获取彩色失真图像，对所述彩色失真图像进行预处理，得到所述彩色失真图像的亮度分量和色彩分量；

对所述亮度分量进行分解，获得所述亮度分量的纹理分量和结构分量，并基于所述纹理分量、所述结构分量和所述色彩分量构建训练集；