[发明专利]一种多尺度空洞卷积神经网络超分辨率重构方法及装置

说明书

本发明公开了一种多尺度空洞卷积神经网络超分辨率重构方法及装置，通过构建空洞卷积超分辨率网络，能够有效解决现有技术中存在的感受野小的问题，增大网络感受野，同时，为了使空洞卷积超分辨率网络能够适用于不同尺度超分辨率重构，对原始图像进行了不同尺度数据增强，使得空洞卷积超分辨率网络能够对不同大小倍数的图像进行处理，从而使空洞卷积超分辨率网络可以泛化多尺度图像超分辨率。

技术领域

本发明涉及图像处理技术领域，特别是一种多尺度空洞卷积神经网络超分辨率重构方法及装置。

背景技术

目前，深度卷积神经网络在计算机视觉问题中被广泛使用，并在图像分类、目标检测等问题中表现出了优异的性能。单图像超分辨率是一个典型的计算机视觉问题，针对低分辨率图像的重构问题，Dong等提出了利用卷积神经网络对图像进行超分辨率重构的算法，其思想是利用网络模型强大的学习能力学习低分辨率到高分辨率端到端的映射关系，从而重构超分辨率图像，该方法实现了端到端的学习架构，省去了特征提取预处理过程和后续高分辨率图像块聚合过程，虽然超分辨率效果不错，但速度却很慢。后来，Dong等在SRCNN方法基础上进行改进，以低分辨率图像作为网络输入，减小特征图维度和卷积核尺寸，提出了一种快速超分辨率方法，减少了网络训练参数。Sh i等提出了一种利用亚像素卷积层的超分辨率方法，对最后得到的特征图重新排列，得到高分辨率图像，大幅提高运算速度。但是，以上3种深度学习方法，均属于浅层卷积神经网络结构，均存在感受野较小、提取的特征非常局部的问题，使得超分辨率效果存在一定的局限性。

发明内容

为了克服现有技术的不足，本发明的目的在于提供一种多尺度空洞卷积神经网络超分辨率重构方法及装置，能够增大网络感受野，提取到更加全局性的特征，同时适合多尺度图像超分辨率重构。

本发明解决其问题所采用的技术方案是：

一种多尺度空洞卷积神经网络超分辨率重构方法，包括：

对原始图像进行多尺度数据增强，得到增强图像；

对增强图像进行数据预处理，得到预处理图像；

构建空洞卷积超分辨率网络，利用所述空洞卷积超分辨率网络对所述预处理图像进行超分辨率重构，其中，所述空洞卷积超分辨率网络中需要不断更新的参数为Θ＝{W₁,W₂,W₃,B₁,B₂,B₃}，其中W₁和B₁表示空洞卷积核的权重和偏置变量，W₂包含了n₂个大小为n₁×f₂×f₂的卷积核，B₂是一个大小为n₂维的向量，W₃对应于c个大小为n₂×f₃×f₃的卷积核，B₃是一个c维的向量；重建的图像为F(Y；Θ)，且对应的原始图像为X；用均方误差作为损失函数即：

其中，n是训练样本的个数；

损失函数用随机梯度下降法进行权值更新，公式为：

其中，l∈{1,2,3}，i是层数和迭代次数，η是学习速率。

进一步，对原始图像进行多尺度数据增强，得到增强图像，包括：

把原始图像作为初始训练集；

对所述初始训练集中的每幅图像分别进行不同尺度的缩放，并结合原始图像形成中间训练集；