[发明专利]一种相机抖动造成的模糊图像复原方法

权利要求书

1.一种相机抖动造成的模糊图像复原方法，其特征在于：首先，估计出相机抖动动作路径；其次，计算出所有的切片状路径和纤维状路径，用贪心算法来计算切片状路径和纤维状路径各自占有的比例，在实际的相机抖动路径中，所有以给定的角度绕z轴旋转的相机抖动动作在平面内的平移动作构成切片状路径集合，定义为切片；所有以给定的平移幅度沿x，y轴平移的相机抖动动作在平面内的旋转动作构成纤维状路径，定义为纤维；然后，用基于广义加性卷积模型GACM的APG算法进行非盲复原；具体包括以下步骤：

1)首先，估计出相机抖动动作路径及每个动作的权值，即集合和向量W，相机动作路径上的每个动作都是三维的，并且可以用以下形式的参数表示θ＝(θ_z，t_x，t_y)，其中θ_z是相机绕z轴旋转的角度，t_x和t_y分别是沿着x轴和y轴平移的量，由初始的假设得到的清晰图像L∈R^n×n，用共轭梯度法求解下面的优化问题解出W，即动作路径中每个动作的权值：

其中是相机抖动动作对应的模糊变换矩阵，W是所有w_θ组成的向量，其维数与集合中元素的个数相同；w_θ为动作θ＝(θ_z，t_x，t_y)在曝光过程中占用的时间，Φ₁(W)是动作权值向量W的正则化项，为W的l₂-范数；

2)其次，计算出所有的切片状路径和纤维状路径；

相机抖动造成的非均匀模糊定义为如下广义加性卷积模型GACM：

$B=\underset{i=1}{\overset{C}{\Σ}}{f}_{\mathrm{\θ}}\left(g_{\mathrm{\θ}}\right(L)\⊗k_{\mathrm{\θ}})$

其中L和B是两个n×n大小的图像，定义的是卷积算子，f_θ和g_θ是为了实现动作θ＝(θ_z，t_x，t_y)的关于像素的算子，k_θ是动作θ＝(θ_x，t_x，t_y)相关的模糊核，C是相机抖动路径中动作的个数；

相机抖动动作路径中每一个动作θ对图像的变换都等同于两个子动作轮流对图像变换的结果，它们分别是先对图像进行平移操作，然后对结果图像进行旋转，用公式表示是假设相机动作路径集合中动作个数为n个，每个动作记为θ_j，j＝1，…n，则之前所述和是相机的3D动作路径中的动作θ_j，θ_j分解后的平移动作θ_j，t和θ_j分解后的旋转动作θ_j，r对应的模糊变换矩阵，这个过程具体实现为其中，为平移动作θ_j，t对应的模糊核，是的矩阵表示，与L卷积就是对L进行平移操作，为旋转动作θ_j，r对应的变换算子，是算子的矩阵表示，对做变换是对做旋转操作；

变换矩阵K_θ的形成需要单应性矩阵H_θ来实现，对3D相机运动子空间中的每个动作θ_j＝(θ_z，j，t_x，j，t_y，j)，单应性可以定义为：

$\begin{array}{c}{H}_{{\mathrm{\θ}}_j}={\mathrm{CM}}_{{\mathrm{\θ}}_j}{C}^{-1}=C(R_{{\mathrm{\θ}}_{z,j}}+t_j\left[\begin{array}{ccc}0& 0& 1\end{array}\right])C^{-1}\\ =C\left[\begin{array}{ccc}\cos \left({\mathrm{\θ}}_{z,j}\right)& -\sin \left({\mathrm{\θ}}_{z,j}\right)& t_{x,j}\\ \sin \left({\mathrm{\θ}}_{z,j}\right)& \cos \left({\mathrm{\θ}}_{z,j}\right)& t_{y,j}\\ 0& 0& 1\end{array}\right]C^{-1}\end{array}$

其中，t_j＝[t_x，j，t_y，j，0]^T是平移向量，且有：

$t_j\left[\begin{array}{ccc}0& 0& 1\end{array}\right]=\left[\begin{array}{c}{t}_{x,j}\\ t_{x,j}\\ 0\end{array}\right]\left[\begin{array}{ccc}0& 0& 1\end{array}\right]=\left[\begin{array}{ccc}0& 0& t_{x,j}\\ 0& 0& t_{x,j}\\ 0& 0& 0\end{array}\right],R_{{\mathrm{\θ}}_{z,j}}=\left[\begin{array}{ccc}\cos \left({\mathrm{\θ}}_{z,j}\right)& -\sin \left({\mathrm{\θ}}_{z,j}\right)& 0\\ \sin \left({\mathrm{\θ}}_{z,j}\right)& \cos \left({\mathrm{\θ}}_{z,j}\right)& 0\\ 0& 0& 1\end{array}\right]$

假设相机内部参数是已知的，相机校准矩阵定义如下，

$C=\left|\begin{array}{ccc}f& 0& x_0\\ 0& f& y_0\\ 0& 0& 1\end{array}\right|$

其中，f是相机焦距长度与相机拍摄到的图像的最大尺寸的乘积除以相机传感器的尺寸最大值得到的参数，f＝l·s_max/ccd_max，单位为像素，其中，l是相机焦距长度，单位为毫米，s_max为相机拍摄到的图像的最大尺寸，ccd_max为相机传感器的尺寸最大值，(x₀，y₀)是图像中心像素点的坐标；

给定对应于动作θ_j＝(θ_z，j，t_x，j，t_y，j)的单应性矩阵可以构造将图像变换成模糊图像的变换矩阵构造矩阵的具体步骤如下：是像素点到像素点的映射算子，对模糊图像在任意位置[x，y，1]^T的像素点，其像素值来源于图像x中位于位置的像素值，这一变换是通过矩阵对图像x作用后的结果；如果令θ_j，r＝(θ_z，j，0，0)，和θ_j，t＝(0，t_x，j，t_y，j)，类似的，定义为对应于动作θ_j，r＝(θ_z，j，0，0)的单应性矩阵，

$H_{{\mathrm{\θ}}_{j,r}}={\mathrm{CM}}_{{\mathrm{\θ}}_{j,r}}{C}^{-1}=C\left[\begin{array}{ccc}\cos \left({\mathrm{\θ}}_{z,j}\right)& -\sin \left({\mathrm{\θ}}_{z,j}\right)& 0\\ \sin \left({\mathrm{\θ}}_{z,j}\right)& \cos \left({\mathrm{\θ}}_{z,j}\right)& 0\\ 0& 0& 1\end{array}\right]C^{-1}$

为对应于动作θ_j，t＝(0，t_x，j，t_y，j)的单应性矩阵，

$H_{{\mathrm{\θ}}_{j,t}}={\mathrm{CM}}_{{\mathrm{\θ}}_{j,t}}{C}^{-1}=C\left[\begin{array}{ccc}1& 0& t_{x,j}\\ 0& 1& t_{y,j}\\ 0& 0& 1\end{array}\right]C^{-1}$

将图像x中处于像素位置的像素值赋值到模糊图像上[x，y，1]位置的像素点；将图像x中处于像素位置的像素值赋值到模糊图像上[x，y，1]位置的像素点；

定义f_θ(x)＝R_θ(x)，g_θ(x)＝x，其中，R_θ是相机抖动动作θ＝(θ_z，t_x，t_y)对应的旋转操作，切片状路径集合定义为即所有θ_z分量相同的相机抖动动作θ＝(θ_z，t_x，t_y)组成的集合，因为这些动作的旋转分量都相同，所以用一个旋转变换R_θ就可以实现所有的旋转动作；

定义f_t(x)＝IPT(x)，g_t(x)＝PT(K_tx)，其中，PT和IPT算子是极坐标变换及其逆变换，K_t是相应的纤维对应的平移模糊矩阵，纤维状路径集合定义为即每一个t_x和t_y分量都相同的相机抖动动作组成的集合，因为这些动作的平移分量都相同，所以用一个平移模糊矩阵K_t就可以实现所有的平移动作；

然后对结果图像进行旋转，建立了广义加性卷积模型：

其中，L为清晰图像，在极坐标变换中，用分解旋转角度时一样的间隔来分段旋转路径，则基滤波器可以定义为其中，[t，θ_i]是纤维状路径集合中的第i个动作，θ₁是最小的旋转角度，是最大的旋转角度，该纤维状路径集合中共有n_f个动作，向量中每个元素为对应的纤维状路径集合中的动作在曝光过程中所占用的时间，n_s指的是利用贪心算法计算出来的相机抖动路径中切片状路径集合的个数，相似的，指的是利用贪心算法计算出来的纤维状路径集合的个数；指的是从第一个切片状路径到第n_s个切片状路径将所有路径模糊的图像累加，每个路径的模糊过程是先对清晰图像做平移操作，平移的模糊核k_s，t为相应切片对应的所有平移动作组成的模糊核，再对该模糊结果进行旋转操作，旋转尺度为第s个切片所对应的唯一的旋转动作分量θ_s；指的是从第一个纤维状路径到第个纤维状路径，将所有路径模糊的图像累加，每个路径的模糊过程是先对清晰图像做平移操作，平移的模糊核为相应的纤维动作集合对应的单一平移模糊核，再通过PT(·)变换将模糊结果映射到极坐标空间中，在极坐标空间中进行旋转的基滤波器为结束后再用极坐标变换的逆变换IPT(·)将结果图像映射到原来的空间；

3)设计贪心算法来计算切片状路径和纤维状路径各自占有的比例；建立切片状路径组成的集合和纤维状路径组成的集合，并统计相应集合中动作子集合的个数n_s和

4)用基于混合GACM的APG算法完成非盲复原：固定动作路径中每个动作的权值，解决下述的优化问题来对相机抖动图像进行复原

其中，B为需要被复原的模糊图像，Φ₂(L)是清晰图像L的正则化项；

5)最后，判断||L_opt-L_k||≤10^-4是否成立，其中L_opt为当前得到的优化结果，L_k为上一次迭代得到的优化结果，如果不成立，则判断当时的迭代次数是否已经超过最大迭代次数20，如果没超过，就继续循环执行1)-4)步骤，如果||L_opt-L_k||≤10^-4成立或者目前的迭代次数已经大于20，则结束迭代，当前解出的L_opt就是该复原过程的最终解。