[发明专利]一种基于插值的运动估计与自适应视频重建方法

摘要

本发明公开了一种基于插值的运动估计与自适应视频重建方法。在基于压缩感知的时间超分辨率视频重建过程中，针对样本学习的重建算法，考虑到视频图像重建质量与训练样本紧密相关，提出根据物体运动量大小进行自适应分类重建。本发明方法首先通过像素连续等长的曝光模式获取编码图像，然后利用一种基于编码图像散粒特征的方法分割出运动区域，并使用插值方法快速获取初始视频图像，再由这些初始图像估计出各区域的运动量，最后根据运动量不同选择对应的训练参数进行分类重建。本发明方法能在图像重建之前快速获取场景运动信息，同时提高视频图像重建质量。

主权项

1.一种基于插值的运动估计与自适应视频重建方法，其特征在于，该方法包括以下步骤：(1)样本分类，具体是：(1.1)利用光流法计算样本视频中相邻帧图像的运动量图；(1.2)对样本视频进行随机采样，样本块大小为8×8×T，T为视频帧数；(1.3)根据步骤(1.1)中的运动量图计算各个样本块的平均运动量，并依据运动量将样本块分类，得到不同运动量的样本集其中l为样本集个数，N为样本个数；(2)参数训练，具体是：针对不同运动量的样本集分别训练重建算法参数；(3)获取观测图像，具体是：(3.1)构建像素连续等长曝光编码S：要求像素曝光片段连续，即在曝光阶段内仅有一次曝光区间，且所有像素曝光时间相同；(3.2)使用步骤(3.1)构建的编码对动态场景成像，获得曝光编码图像，即观测图像Y；(4)运动区域分割，具体是：(4.1)计算观测图像各像素8邻域中与自身灰度差值大于灰度阈值h(例如h可以取30)的个数N，将数值N作为相似性图J中对应位置的像素值；(4.2)利用搜索框对步骤(4.1)得到的相似性图J进行遍历搜索，构建区域加权图像W，区域加权图像W各像素的值为以该像素为中心的搜索框在相似性图J上所涵盖区域的像素值加权，权重为距离函数的高斯权；(4.3)依次对步骤(4.2)得到的区域加权图像W进行归一化和二值化，得到二值化图像B，再对二值化图像B进行开操作，去除边缘毛刺，最后去除图像中面积小于面积阈值的区域，得到最终运动区域(5)图像插值，具体是：(5.1)将步骤(3.2)获得的观测图像Y分别乘上各帧曝光编码St，t∈[1,T]为帧序号，得到It＝Y·St；(5.2)对于I_t中每个零值点x，定义其局部搜索块即在S_t中包含非零点的最小正方形区域；(5.3)对于I_t中属于步骤(4.3)得到的运动区域的零值点x，在其局部搜索块内进行加权插值：其中为归一化系数。(6)运动量估计：根据步骤(5.3)中插值得到的视频图像，利用光流法估计相邻帧图像的运动量，得到T‑1帧运动量估计图；(7)分类重建，具体是：(7.1)对观测图像进行有叠加的块重建，每次移动1个像素，图像块大小为8×8；(7.2)在步骤(6)所得的运动量估计图中找到对应位置的小块，定义每个小块的运动量为该小块包含的所有点中运动量值前10％的平均值，待重建小块的运动量则定义为T‑1个运动量估计图中对应小块运动量的平均值；(7.3)根据待重建小块的运动量选择步骤(2)得到的对应的重建算法参数，重建T帧小块；(7.4)所有图像小块重建完毕后，叠加得到最终视频序列图像。