[发明专利]基于光流场的运动目标超分辨率图像重建方法

摘要

本发明提出一种基于光流场的运动目标超分辨率图像重建方法，它包括如下步骤：第一步，基于光流场的运动目标跟踪和运动估计：首先在第一帧图像中截取出运动目标图像，然后根据参考帧图像中运动目标图像的位置截取下一帧图像中相同位置上的运动目标图像，计算两帧运动目标图像之间的光流场，其次利用光流场获得运动目标图像的运动参数，根据运动参数在参考帧的下一帧图像中更改运动目标图像的位置，最后按照相同的方法依次对相邻两帧图像进行处理，跟踪截取每帧图像的运动目标图像；第二步，利用非均匀插值法对低分辨率图像序列进行图像融合；第三步，利用维纳滤波法对初步融合的高分辨率图像进行图像复原处理，得到清晰的高分辨率图像。

主权项

1.一种基于光流场的运动目标超分辨率图像重建方法，其特征在于按照以下步骤进行：步骤1：基于光流场的运动目标跟踪和运动估计，从同一传感器获取连续K帧M₁×M₂大小的低分辨率图像Y_k(x，y)，按照公知的建立图像坐标系的方法，以坐标(x，y)＝(0，0)作为坐标原点建立坐标系，使图像全部落在第一象限内，得到低分辨率灰度图像序列{Y_k(x，y)|0≤x＜M₁，0≤y＜M₂，k＝1，2，...，K}，其中，M₁、M₂分别为每帧低分辨率图像的图像矩阵的行数和列数，且M₁、M₂、K均为正整数，二维函数Y_k(x，y)表示低分辨率图像序列中第k帧图像，x和y都为非负整数，从低分辨率灰度图像序列{Y_k(x，y)|k＝1，2，...，K}中获取的运动目标的低分辨率图像序列表示为{D_k(x，y)|k＝1，2，...，K}，二维函数D_k(x，y)表示从第k帧图像Y_k(x，y)中提取出来的大小为d_w×d_h的运动目标图像，获取低分辨率运动目标图像序列的步骤如下：步骤1.1：令k初始值为1，在第k帧低分辨率图像Y_k(x，y)中标记出尺寸大小d_w×d_h的第k帧运动目标图像D_k(x，y)，以运动目标图像中任意一点的位置坐标作为第k帧运动目标图像的位置坐标和都为非负整数，d_w和d_h均为正整数；步骤1.2：依次对两帧连续图像Y_k(x，y)和Y_k+1(x，y)进行处理，以图像Y_k(x，y)为参考帧，初始化第k+1帧图像的运动目标的位置坐标为将图像Y_k+1(x，y)中位置坐标处大小为d_w×d_h的图像作为第k+1帧初始运动目标图像D_k+1(x，y)；步骤1.3：分别计算图像D_k(x，y)和D_k+1(x，y)的高斯金字塔图像P_k，l(x，y)和P_k+1，l(x，y)，l为图像高斯金字塔层的序数，l为正整数且1≤l≤L，L为两帧图像中最高金字塔层数的最小值，l初始值为L，高斯金字塔图像P_k，l(x，y)大小为d_w/2^l-1×d_h/2^l-1，利用图像光流场估计图像D_k+1(x，y)相对于图像D_k(x，y)的水平和垂直位移F_k，0、F_k，1，设水平和垂直位移F_k，0、F_k，1的初始值均为0，具体方法如下：步骤1.3.1：利用高斯滤波对图像P_k，l(x，y)和P_k+1，l(x，y)进行预处理，预处理后的低分辨率图像分别记为E^l(x，y，k)和E^l(x，y，k+1)，即图像序列E^l(x，y，t)分别在第t＝k帧和第t＝k+1帧的图像；步骤1.3.2：利用E^l(x，y，k)中每四个相邻像素与E^l(x，y，k+1)中对应位置的四个像素组成的八像素点立方体邻域，估计图像偏导数在每个邻域中坐标为(i，j)处的值，i、j为正整数，1≤i≤d_w/2^l-1，1≤j≤d_h/2^l-1即：Exl≈14{Ei,j+1,kl-Ei,j,kl+Ei+1,j+1,kl-Ei+1,j,kl+Ei,j+1,k+1l-Ei,j,k+1l+Ei+1,j+1,k+1l-Ei+1,j,k+1l}]]>Ey≈14{Ei+1,j,kl-Ei,j,kl+Ei+1,j+1,kl-Ei,j+1,kl+Ei+1,j,k+1l-Ei,j,k+1l+Ei+1,j+1,k+1l-Ei,j+1,k+1l}]]>Et≈14{Ei,j,k+1l-Ei,j,kl+Ei+1,j,k+1l-Ei+1,j,kl+Ei,j+1,k+1l-Ei,j+1,kl+Ei+1,j+1,k+1l-Ei+1,j+1,kl}]]>E1+(dw/2l-1),j,kl=Edw/2l-1,j,kl]]>Ei,1+(dh/2l-1),kl=Ei,dh/2l-1,kl]]>E1+(dw/2l-1),1+(dh/2l-1),kl=Edw/2l-1,dh/2l-1,kl]]>其中，和分别为亮度图像E^l(x，y，t)对x、y、t的偏导数的缩写，下标(i，j，k)表示第k帧图像中第i行和第j列交叉处的点的坐标；步骤1.3.3：利用最小化全局误差，计算光流场速度矩阵U、V，其大小均为d_w×d_h，un+1=u‾n-Exl(Exlu‾n+Eylv‾n+Etl)/(α2+(Exl)2+(Eyl)2)]]>vn+1=v‾n-Eyl(Exlu‾n+Eylv‾n+Etl)/(α2+(Exl)2+(Eyl)2)]]>其中，u＝dx/dt和v＝dy/dt分别为光流场的两个分量U、V在坐标点(x，y)处的值，且U、V、u、v初始值均为0，α为权重因子，n为迭代次数，取α为1，n为100，局部均值和定义为u‾i,j,k=16{ui-1,j,k+ui,j+1,k+ui+1,j,k+ui,j-1,k}+112{ui-1,j-1,k+ui-1,j+1,k+ui+1,j+1,k+ui+1,j-1,k}]]>v‾i,j,k=16{vi-1,j,k+vi,j+1,k+vi+1,j,k+vi,j-1,k}+112{vi-1,j-1,k+vi-1,j+1,k+vi+1,j+1,k+vi+1,j-1,k}]]>v_-1，j，k＝v_0，j，k    v_i，-1，k＝v_i，0，k    v_-1，-1，k＝v_0，0，ku_-1，j，k＝u_0，j，k    u_i，-1，k＝u_i，0，k    u_-1，-1，k＝u_0，0，kvdw,j,k=vdw-1,j,k]]>vi,dh,k=vi,dh-1,k]]>vdw,dh,k=vdw-1,dh-1,k]]>udw,j,k=udw-1,j,k]]>ui,dh,k=ui,dh-1,k]]>udw,dh,k=udw-1,dh-1,k]]>其中，下标(i，j，k)表示第k帧图像中第i行和第j列交叉处的点的坐标，i、j为正整数，1≤i≤d_w，1≤j≤d_h；步骤1.3.4：利用公式Fk,l,0=1dw×dhΣy=0dh-1Σx=0dw-1U(x,y)]]>和Fk,l,1=1dw×dhΣy=0dh-1Σx=0dw-1V(x,y)]]>分别计算光流场两个分量U、V的均值F_k，l，0、F_k，l，1，U为光流场水平速度矩阵，V为光流场垂直速度矩阵，并利用公式和得到图像运动参数，若l不为1，则将l减1，返回步骤1.3.1，否则，分别对F_k，0、F_k，1做四舍五入的取整操作；步骤1.4：利用公式计算第k+1帧图像D_k+1(x，y)新的目标图像位置坐标重新截取图像Y_k+1(x，y)的运动目标图像D_k+1(x，y)，若Y_k+1(x，y)不为最后一帧图像，k加1，返回步骤1.2，否则，结束目标图像的提取；步骤2：利用非均匀插值法，将低分辨率图像序列{D_k(x，y)|k＝1，2，...，K}融合为一帧大小为(p·d_w)×(p·d_h)的模糊的高分辨率图像Z(x，y)，其中放大因子p为正整数，取p为4，图像融合的具体方法为：步骤2.1：根据图像运动位移F_k，0、F_k，1分别对p取余的结果，将低分辨率图像序列{D_k(x，y)|k＝1，2，...，K}分为p×p个类别，计算出每个类别中的低分辨率图像在每个像素点上的像素值中值，得到大小为d_w×d_h的中值图像序列{S_g，h(x，y)|0≤x＜d_w，0≤y＜d_h，g，k＝1，2，...，p}；步骤2.2：根据Z(p×x+g-1，p×y+h-1)＝S_g，h(x，y)，0≤x＜d_w，0≤y＜d_h，分别将中值图像序列{S_g，h(x，y)|g，k＝1，2，...，p}的像素值保存到高分辨率图像Z(x，y)中，得到高分辨率图像Z(x，y)；步骤3：利用维纳滤波法对初步融合的高分辨率图像Z(x，y)进行图像复原处理，获得清晰的大小为(p·d_w)×(p·d_h)的高分辨率图像Z(x，y)，具体实现为：步骤3.1：计算图像Z(x，y)的傅里叶变换图像G(x，y)，大小为(p·d_w)×(p·d_h)；步骤3.2：计算图像Z(x，y)每个像素值的平方，得到大小为(p·d_w)×(p·d_h)的图像Z²(x，y)；步骤3.3：利用式子Z(x,y)=1Z‾(x,y)Z‾2(x,y)Z‾2(x,y)+σG(x,y)]]>计算得到清晰的高分辨率图像Z(x，y)，其中，σ为常数0.001。