[发明专利]基于可学习可微分矩阵逆及矩阵分解的图像恢复方法

说明书

本发明公布了一种基于可学习可微分矩阵逆及矩阵分解的图像恢复方法，通过设计可学习的可微分矩阵逆模块LD‑Minv、可学习的可微分奇异值分解模块D‑SVD和基于学习的近邻算子，对输入的待恢复图像进行图像恢复，输出清晰图像。采用本发明的技术方案，能够以更小的计算消耗实现更卓越的图像恢复性能，并且模型具有可解释性以及更好的泛化性能。

技术领域

本发明属于模式识别、机器学习、人工智能技术领域，涉及图像分类恢复方法，尤其涉及一种基于可学习的可微分矩阵逆及矩阵分解框架的图像恢复方法。

背景技术

矩阵逆(包括矩阵伪逆)和奇异值分解(SVD)是最基本的线性代数矩阵运算，其广泛应用于机器学习、统计学、信号处理等领域。一般来说，解决科学计算或优化问题(Solvea optimization problem)通常需要执行这两种运算，例如最小二乘回归算法需要矩阵(伪)逆，数据降维算法需要奇异值分解(SVD)，基于低秩的图像恢复算法以及基于图的聚类算法都需要矩阵逆以及SVD。

尽管在传统机器学习领域，矩阵逆以及SVD深受欢迎。然而，在深度学习主导的现代机器学习中，他们被使用的频率却越来越低。这其中主要有两个原因。

第一个是效率原因。一般的矩阵逆以及SVD算法的计算效率很低。对于大规模问题，计算SVD和矩阵逆非常耗时。然而，在当前大数据和深度学习时代，高效率是算法应用与实际问题的一个重要前提

第二个原因是矩阵逆和SVD的不可微性。目前，主流的深度神经网络(DNN)的训练算法大多数基于反向传播，即是基于一阶梯度的。然而，矩阵逆和SVD是矩阵秩不连续函数。因此，除了一些特殊的常数秩矩阵，普通的矩阵逆和SVD的一阶梯度并不总是存在。虽然有的时候特殊的实现策略能使得矩阵逆以及SVD变得可反向传播，但这种策略极其不稳定。总的来说，矩阵逆以及大部分矩阵分解操作本质上不是连续可微的，因此，当反向传播时，梯度在经过这些算子的时候会出现不可预测的问题。

经典的图像恢复最后都归结为解决一个欠定的逆问题。具体来说，图像恢复可以表示为式(1)：

其中，是需要恢复的图像，即不带噪声和缺失的原图像，是给定的线性变换算子(如卷积变换，傅里叶变换等)，分别是观测到的图像以及随机的噪声(y可以是带噪声的模糊图像或有缺失区域的图像)。图像恢复任务是试图从y中恢复出x。一般情况下，在给定先验信息的情况下，式(1)中的图像恢复可以通过解决如下优化问题来解决：

其中，f(·)度量当前x对方程(1)拟合的拟合程度，g(·)是基于先验信息添加的正则项。从传统机器学习的角度，解决式(2)表示的优化问题，一般会引入辅助变量之后采用交替更新的优化算法，例如线性交替方向乘子法(Linearized ADMM)。然而，在深度学习主导的现代机器学习中，算法的可学习性被视作一个重要的特性。通过引入可学习参数，相较于传统的算法，可学习算法能基于给定数据，在服从某个特定分布的数据上，以十分之一甚至百分之一的计算消耗得到性能近似的解。

因此，一方面，现有经典的图像恢复算法大多包含矩阵的逆或者矩阵分解的步骤。现有的技术无法同时解决矩阵分解在大规模数据上低分解效率，以及不可微分性的问题。另一方面，现有经典的基于优化的图像恢复算法不包含可学习的参数。因此，经典的算法无法依据给定的数据，自适应的调整优化的策略与参数，即不具备可学习性。除了基于优化的图像恢复算法，还有一部分是基于一般深度神经网络的图像恢复算法，该类方法大部分情况下是去直接拟合不带噪声目标图像。因此，该类方法的可解释性较差，并且对噪声不鲁棒。更重要的是，对训练数据要求很大并且泛化性能一般。

发明内容