[发明专利]一种基于分块模糊核集的非均匀视频盲去模糊方法

摘要

本发明涉及一种基于分块模糊核集的非均匀视频盲去模糊方法，属于视频处理技术领域；包括以下步骤根据视频帧图像梯度大小检测模糊帧；使用清晰帧和模糊帧之间的特征匹配计算分块单应变换；通过分块单应变换的离散采样逼近模糊运动，并通过优化逼近误差计算模糊运动的速度参数；根据模糊运动速度获取各个分块对应的模糊核，并利用反卷积计算清晰的分块；将清晰的分块拼接得到清晰的帧图像，从而去除模糊帧。与已有方法相比，本发明方法采用多个模糊核描述视频帧的模糊运动，计算时不需设定初始值，增加了鲁棒性，对于非均匀的视频模糊处理更加高效；对视频中的清晰区域要求不高，增加了适用范围。

主权项

一种基于分块模糊核集的非均匀视频盲去模糊方法，其特征在于，该方法包括如下步骤：步骤一、检测模糊帧对于视频的每一帧，检测该帧是否是模糊帧，若是，执行以下步骤；否则，继续检测，直到没有模糊帧；步骤二、视频帧网格化将视频帧划分为由若干矩形分块组成的网格，记录网格中每个矩形角点的坐标为{Xi,jt=(xi,jt,yi,jt)∈R2},]]>其中，t表示视频帧索引数，i和j表示矩形角点的索引数，是第t帧视频中(i，j)角点，是第t帧图像中(i，j)角点的二维坐标，R表示实数集，将网格中每个矩形表示为Qi,jt={Xi,jt,Xi+1,jt,Xi+1,j+1t,Xi,j+1t};]]>步骤三、分别进行模糊帧前后两个清晰帧与模糊帧之间的特征点匹配对于每一个模糊帧，分别在模糊帧前面和后面寻找和模糊帧最近的清晰帧作为参考，命名为前清晰帧和后清晰帧，分别检测模糊帧图像和前、后清晰帧图像上的特征点，并进行特征点匹配，得到彼此匹配的特征点对的集合{(pt1，ps1)}和{(ps2，pt2)}；其中pt1和pt2分别是前、后清晰帧上的特征点，ps1和ps2分别是模糊帧上与pt1和pt2匹配的特征点；步骤四、分别计算前清晰帧到模糊帧和模糊帧到后清晰帧的对应分块的单应变换对于每个分块，根据前清晰帧和模糊帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换Hi，j，t′：E(Hi,j,t′)=Σpt1∈Qi,jt′||ps1-Hi,j,t′·pt1||2;]]>根据模糊帧和后清晰帧匹配的特征点，通过优化以下能量函数计算每个分块对应的单应变换Hi，j，t″：E(Hi,j,t′′)=Σpt1∈Qi,jt′′||pt2-Hi,j,t′′·ps2||2;]]>其中，t’表示和第t帧最近的前清晰帧的索引，Hi，j，t′是包含6个未知数，最后一行是(0，0，1)的三阶矩阵，表示前清晰帧左上角角点索引为(i，j)的分块到模糊帧对应分块的单应变换，t”表示和第t帧最近的后清晰帧的索引，Hi，j，t″是包含6个未知数，最后一行是(0，0，1)的三阶矩阵，表示模糊帧左上角角点索引为(i，j)的分块到后清晰帧对应分块的单应变换，pt1，ps1，pt2，ps2是三维列向量，前二维分别是特征点的X和Y坐标，第三维设为1，双竖线符号表示二范数；步骤五、计算模糊帧对应的模糊运动的速度步骤5.1首先确定前后清晰帧中谁最靠近模糊帧，若是前清晰帧，则通过Hi，j，t′对前清晰帧的每个分块进行图像变换和拼接得到图像L，若是后清晰帧，则通过对后清晰帧的每个分块进行图像变换和拼接得到图像L，然后对图像L网格化得到所有分块步骤5.2利用前清晰帧到模糊帧和模糊帧到后清晰帧的单应变换作为参考，通过优化以下能量函数计算模糊运动的速度参数E(wi,jt)=||wi,j0Li,jt+Σl=1T-1(wi,j,t′lHi,j,t′l(Li,jt)+wi,j,t′′lHi,j,t′′l(Li,jt))-bi,jt||2+λ||a||2;]]>其中是模糊帧上的一个分块，是通过步骤5.1得到的与该模糊帧上的分块对应的清晰分块，表示用单应变换对进行图像变换，表示用单应变换对进行图像变换，λ是预先设定的权值，a是一个大小为2T‑2的向量，其中第k个分量为中第k+1个分量与第k个分量的差；是分别对单应变换Hi，j，t′的逆和Hi，j，t″进行T‑1次离散采样得到的变换，即Hi,j,t′l=T-lTI+lTHi,j,t′-1Hi,j,t′′l=T-lTI+lTHi,j,t′′;]]>其中T是预设的参数，l是离散采样的索引数，I是3阶单位矩阵；步骤六、计算分块的模糊核图像根据预设的模糊核图像的大小，将中心位置是白色像素的核图像按照计算得到的运动速度和离散采样的变换进行图像变换，得到中心白色像素的运动轨迹，并且将轨迹上的像素灰度设为相应的中的值，从而得到每一个分块的模糊核图像步骤七、反卷积计算清晰帧对于每一个分块，利用反卷积的方法计算下面公式中对应的清晰分块bi,jt=Li,jt⊗Ki,jt;]]>其中是卷积符号；在得到每个分块对应的清晰图像后，将清晰的分块拼接，最终生成模糊帧对应的清晰帧。