[发明专利]一种无参考的图像去雨质量评价系统

说明书

本发明提出一种无参考的图像去雨质量评价系统，包括多尺度特征前向提取路径、多尺度特征后向提取路径、门控融合模块以及分数预测模块；待评价图像输入至多尺度特征前向提取路径后，再经多尺度特征后向提取路径输出多尺度特征至门控融合模块，门控融合模块对各尺度特征进行加权融合后输出至分数预测模块得到分数。双向门控融合网络先通过前向路径得到高维特征，再通过后向路径得到更多图像局部内容、上下文信息，最终通过门控融合得到图像的多尺度特征。本发明用来预测人类对不同去雨结果的感知质量，有助于在真实的雨景中评估和开发。

技术领域

本发明涉及图像处理中去雨技术。

背景技术

去雨质量评价(Deraining Quality Assessment,DQA)在评价和指导图像去雨算法的设计方面起着重要的作用。由于在实际下雨天气中不存在无雨图像，现有的去雨算法通过模拟非常有限类型的雨，这远远不足以评估去雨算法的实用性。

在去雨质量评价领域，传统方法由于对无雨真实图像和全参考图像质量评价(如PSNR SSIM)的依赖，所有现有的图像去雨算法都只能在人造数据上得到评估结果。与各种真实的雨景相比，计算机合成的降雨图片远远不能保证去雨算法的实用性。同时，对真实降雨图像进行质量评价无法验证每种去雨算法的统计意义。就我们所知，目前还没有专门为去雨图像设计的盲图像质量评估(BIQA)模型。

发明内容

本发明所要解决的技术问题是，针对去雨图像具有各向异性和内容多变性，提出一种融合了图像的多尺度特征的双向门控融合网络(B-GFN)的去雨质量评价系统。

本发明为解决上述技术问题所采用的技术方案是，一种无参考的图像去雨质量评价系统，包括多尺度特征前向提取路径、多尺度特征后向提取路径、门控融合模块以及分数预测模块；待评价图像输入至多尺度特征前向提取路径后，再经多尺度特征后向提取路径输出多尺度特征至门控融合模块，门控融合模块对各尺度特征进行加权融合后输出至分数预测模块得到分数。

本发明提出了一种盲图质量评估模型来准确地预测去雨质量。由于，我们提出了一种双向门控融合网络(B-GFN)，该网络先通过前向路径得到高维特征，再通过后向路径得到更多图像局部内容、上下文信息，最终通过门控融合得到图像的多尺度特征。

本发明的有益效果是，提出双向门控融合网络(B-GFN)用来预测人类对不同去雨结果的感知质量，有助于在真实的雨景中评估和开发。

附图说明

图1为实施例系统网络结构图。

具体实施方式

如图1所示，给出了所提出的DQA模型的体系结构，即双向门控融合网络(B-GFN)。多尺度特征前向提取路径包括1个卷积与ReLU块、1个最大池化模块、尺度从大到小的4级特征前向提取单元；多尺度特征后向提取路径包括尺度从小到大的4级特征后向提取单元、3级上采样模块、3级加法运算模块以及4级空间金字塔池化模块。

多尺度特征前向提取路径中，待评价图像输入内核为7*7的卷积与ReLU块CB后(得到通道数为96尺度为160*160的图像谱)经最大池化模块maxPool后(得到通道数为96尺度为80*80的图像谱)输入至逐级串联的特征前向提取单元，除第4级之外的每级尺度下的特征前向提取单元输出至下一级特征前向提取单元以及多尺度特征后向提取路径中相同尺度的特征提取模块中，第4级特征前仅向提取单元输出至多尺度特征后向提取路径中第1级特征后向提取单元；经过第1级特征前向提取单元得到通道数为192尺度为40*40的图像谱，经第2级特征前向提取单元得到通道数为384尺度为20*20的图像谱，经第3级特征前向提取单元得到通道数为1056尺度为10*10的图像谱，经第4级特征前向提取单元得到通道数为2208尺度为5*5的图像谱。特征前向提取单元包括稠密连接块DB以及转换层TL；稠密连接块的输入为特征前向提取单元的输入，稠密连接块的输出与转换层的输入连接，转换层的输出为特征前向提取单元的输出；稠密连接块与densenet161具有相同的结构。