[发明专利]一种融合多种正则化方法提升视频恢复的时域稳定性方法

说明书

本发明公开了一种融合多种正则化方法提升视频恢复的时域稳定性方法，属于视频恢复技术领域。所述方法包括以下内容：在使用深度学习做视频恢复时，一个常见的问题就是单帧处理后的图像在时域上出现不一致，针对这个问题，本发明提出融合多种正则化方法，提高算法鲁棒性。为CNN视频恢复模型加入微变换不变正则化方法、单色图像正则化方法、线性变换一致正则化方法和二次处理不变损失正则化方法，通过以上方法优化和调整神经网络的损失函数，得到更加鲁棒的视频恢复模型，以解决单帧处理后的图像在时域上出现的不一致问题。

技术领域

本发明涉及视频恢复技术领域，尤其涉及一种融合多种正则化方法提升视频恢复的时域稳定性方法。

背景技术

近些年来，随着互联网的发展和智能终端的普及，图像和视频已成为人类活动中最常用的信息载体。然而，在图像的获取、传输、储存和处理的过程中，总会受到各种退化因素的影响，造成图像质量的退化，对于后续的图像理解和使用造成了极大影响，所以，为了获取高质量图像，需要对视频图像进行恢复处理，尽可能的保持原始信息完整性。所以，视频恢复一直是图像处理和计算机视觉研究的热点。

目前做法的局限性在于：目前使用深度学习的方法来减弱或消除退化因素对图像质量的影响，提高图像的清晰度、信噪比和分辨率，已是很常见的做法，然而往往恢复结果在时域稳定性方面不是很理想，往往会出现相邻帧闪动的现象，要解决这一问题，就必须要将反映图像视频本真性质的先验信息融入到复原过程中，以便约束复原方法在本真信号附近的合理区域内寻找最终的恢复结果。

发明内容

本发明从图像视频复原的正则化优化建模出发，通过加入特定的训练样本和加入不变损失项来优化和调整视频恢复模型的损失函数，提高算法鲁棒性，从而提升图像视频恢复的时域稳定性。

1、一种融合多种正则化方法提升视频恢复的时域稳定性方法，具体包括以下内容：

（1）给CNN视频恢复模型的损失函数加入微变换不变正则项：

（1.1）首先筛选一批高清图片，对这批高清图片进行微幅操作，包括加入高斯噪声，调整亮度、饱和度。

（1.2）然后将微幅操作后的高清图片集加入某种目标失真，得到一批失真的图片集，这批失真的图片集作为神经网络的输入，标签即无噪声的图片。

（1.3）最后使用这批失真的图片集对CNN视频恢复模型进行训练，CNN视频恢复模型的损失函数如下式，其中MSE（Mean Square Error）为均方误差，I_i为原始高清图片，Y_i为输出的无噪图片：。

（2）给CNN视频恢复模型的损失函数加入单色图片正则项：

（2.1）首先筛选一批单色图片，作为CNN视频恢复模型的训练集。

（2.2）然后为单色图片集加入目标失真，该图片集作为神经网络的输入对CNN视频恢复模型进行训练，CNN视频恢复模型的损失函数如下式，其中MSE（Mean Square Error）为均方误差，Y是输出的无噪图片，BW是输入的单色图片：

。

（3）给CNN视频恢复模型的损失函数加入线性变换一致正则项：

（3.1）首先筛选一批高清图片作为CNN视频恢复模型的训练集，对这批高清图片进行平移、旋转、缩放。

（3.2）然后对变换后的图片集加入目标失真，将该图片集作为神经网络的输入。