[发明专利]一种不包含正则化层的二值超分辨率重建方法

说明书

本发明公开了一种不包含正则化层的二值超分辨率重建方法，包括：对低分辨率图像进行数据分布处理，获得处理后图像；将所述处理后图像输入二值深度神经网络模型进行特征提取，获得重构后的图像；对所述重构后的图像进行数据分布处理，获得最终重建后的超分图像；利用梯度下降算法迭代更新所述二值深度神经网络模型的参数，直至达到收敛。本发明的方法，通过一种有效的二值化训练机制，允许神经网络在不包含正则化层时取得较优异的网络性能，从而使网络以较低的计算复杂度获得更加优异的超分辨率图像重建效果。

技术领域

本发明属于图像处理技术领域，具体涉及一种不包含正则化层(BN)的二值超分辨率重建方法，可用于数字媒体领域和社会公共安全领域如图像视频清晰化处理、人脸图像超分等。

背景技术

图像超分辨率重建旨在通过一张低分辨率图像重建一张高分辨率图像，享有非常广阔的应用空间，如数字媒体领域中的图像清晰化处理、视频监控中人脸图像的增强等。近年来，基于卷积神经网络的图像超分辨率重建算法取得了优异的成果。然而，网络性能的提升依赖于增大模型的容量和复杂程度，导致超分辨率重建网络面临着难以部署于资源有限的移动设备的问题，限制了超分辨率重建算法在实际生活中的应用。因此，二值图像超分辨率算法应运而生，通过对网络中参数的二值化处理，可使得模型享有高的网络压缩比和速度增益比。二值超分网络占用存储空间小、计算效率高，可满足手机等便携式移动设备对于超分过程的计算需求。因此，二值图像超分辨率算法的研究具有重要的意义。

Ma等人在文献“Y.Ma，H.Xiong，Z.Hu，and L.Ma，“Efficient Super ResolutionUsing Binarized Neural Network，”in Computer Vision and Pattern RecognitionWorkshop，2019”中提出一种二值化权值的图像超分辨率重建算法，该方法采用sign函数作为权值二值化函数并引入可学习的尺度因子减少量化过程造成的损失，同时采用clip函数将反向梯度保留在(-5，5)区间内指导网络训练。Xin等人在文献“J.Xin，N.Wang，X.Jiang，J.Li，H.Huang and X.Gao，“Binarized Neural Network for Single Image SuperResolution,”in European Conference on Computer Vision，2020”中提出一个权值与激活完全二值化的图像超分辨率重建网络，该方法提出了一个基于比特累加机制的二值化算法，利用多个1-bit数值累加估计多bit数值，可在前向信息传递过程中有效减少量化过程产生的信息损失。

上述方法中Ma等人的方法仅实现了网络权值的二值化，虽然可以减少模型的内存耗用，但模型运算需要的乘法操作无法被替换为简单的位运算，从而无法加快模型的推理速度。Xin等人的方法实现了超分网络中权值与激活的完全二值化，但比特累加机制会引入过多的全精度浮点型运算，消耗过多的计算资源。此外，现有二值网络多依赖于BN层缓解量化过程造成的信息损失，然而BN的引入会带来全精度浮点型运算，降低了模型硬件实施的有效性。因此，二值超分率重建网络在性能与效率上均存在较大的提升空间。

发明内容

为了解决现有技术中存在的上述问题，本发明提供了一种不包含正则化层的二值超分辨率重建方法。本发明要解决的技术问题通过以下技术方案实现：

本发明提供了一种不包含正则化层的二值超分辨率重建方法，包括：

S1：对低分辨率图像进行数据分布处理，获得处理后图像；

S2：将所述处理后图像输入二值深度神经网络模型进行特征提取，获得重构后的图像；

S3：对所述重构后的图像进行数据分布处理，获得最终重建后的超分图像；

S4：利用梯度下降算法迭代更新所述二值深度神经网络模型的参数，直至网络模型达到收敛。

在本发明的一个实施例中，所述S1包括：