[发明专利]一种基于双向最佳匹配的分布式视频压缩感知重构方法

摘要

本发明公开了一种基于双向最佳匹配的分布式视频压缩感知重构方法，在多假设(Multiple Hypotheses，MH)预测模型的基础上，由像素块在测量域结构相似性约束双向最佳匹配策略，结合运动对齐估计思想，采用测量域块结构相似性作为失真标准在参考帧中选取出最佳匹配块，在以前、后向最佳匹配块为中心的搜索窗口内逐像素提取视频最优生成矩阵，采用连续帧间结构相似性约束优化双向最佳匹配过程，联合残差补偿重构出非关键帧。本发明能够充分考虑帧间空时运动信息相关性，在相同的采样率下，能够提高重构视频序列帧质量，并且重构时间没有大幅度增加。该方法解决了现有基于多假设预测模型重构过程中未充分考虑视频帧间空时运动信息稀疏相关性的问题。

主权项

一种基于双向最佳匹配的分布式视频压缩感知重构方法，其特征在于，具体步骤如下：输入：视频序列帧xt有N＝Ic×Ir个像素，分成n个大小为B×B的块，第i个块的列向量形式记为xt,i，i＝1,...,n,n＝N/B2；分块尺寸：B×B，B＝32,分块测量矩阵为ΦB；(1)将原始视频流拆分为关键帧和非关键帧，奇数帧为关键帧，偶数帧为非关键帧；或者偶数帧为关键帧，奇数帧为非关键帧；(2)在采集端，用测量矩阵Φ对关键帧和非关键帧进行CS测量；(3)在重构端，首先重构视频序列中的关键帧；(4)将已重构的关键帧作为参考帧，MH预测模型首先寻找待重构块xt,i在参考帧D1内的前向最佳匹配块xt,ibestforward和后向最佳匹配块xt,ibestback，即和寻找前、后向最佳匹配块时，在测量域采用像素块结构相似性(Structural SIMilarity，SSIM)作为失真标准进行迭代寻找，约束最佳匹配过程中根据非关键帧采样率的不同进行自适应阈值迭代，在参考帧中选取出最佳匹配块作为当前块的临时最佳预测值；SSIM定义如下：SSIM(x,y)＝[l(x,y)]α[c(x,y)]β[s(x,y)]γl(x,y)=2μxμy+C1μx2+μy2+C1,l(x,y)=2σxσy+C2σx2+σy2+C2,l(x,y)=σxy+C3σxσy+C3]]>由于当前帧中的视频块xt,i是未知的，但xt,i的测量值是已知的，所以整个过程在测量域进行迭代比较，则x，y分别为当前帧和参考帧中对应的视频帧块测量值，即x＝Φxt,i，y＝Φyt,i，由上式计算测量域的SSIM，根据像素块在测量域结构相似性约束双向最佳匹配策略，迭代计算得最终最佳匹配块，即有：和其中l(x,y)，c(x,y)，s(x,y)分别代表亮度、对比度、结构比较函数；μx，μy，σx，σy，σxy分别表示参考图像和失真图像的亮度均值、标准差以及协方差；C1，C2，C3为小常数，为了防止分母为0；(5)由步骤(4)在搜索窗口D1内得到前、后向最佳匹配块xt,ibestforward和xt,ibestback后，再以xt,ibestforward为中心，生成半径为D2的搜索窗口D2，在以最佳匹配块为中心的搜索窗口D2内逐像素提取视频块生成最优矩阵Ht,ibestforward；后向最佳匹配块的最优矩阵Ht,ibestback用同样方法获得；此处Ht,i即Ht,ibestforward和Ht,ibestback，为一个B2×K的矩阵，K＝|Ht,i|，矩阵中的列为参考帧中相应搜索区域D2内的视频块；(6)利用多假设预测模型中的如下公式计算非关键帧的多假设预测值即边信息：和其中wt,i为代表Ht,i中各列的最佳线性组合的列向量，前、后向分别为wt,if和wt,ib，Γ为正则化矩阵，ht,i是Ht,i的列，i＝1,...,K；(7)在步骤(6)中算得前向最佳匹配边信息为后向最佳匹配边信息为将前、后向最佳匹配边信息进行迭代比较，选择出最终的最佳匹配边信息，即：x^t,i=xt,ibestforward,||xt,ibestforward-xt,i||≤||xt,ibestback-xt,i||xt,ibestback,||xt,ibestforward-xt,i||≥||xt,ibestback-xt,i||]]>(8)获得非关键帧的边信息后，用非关键帧的测量值减去其边信息的测量值，计算出当前帧残差r的各块CS观测向量yr,i，即：yr,i=yt,i-ΦBxt,iΛ=ΦB(xt,i-xt,iΛ)=ΦBrt,i,i=1,...,n]]>(9)重构出残差值rt；(10)将边信息和残差值相加，得到暂时的重构非关键帧，即：由残差重构帧xt和边信息帧之间的SSIM值即同步骤4，作为图像重构时的迭代阈值，迭代得到最终的重构非关键帧xt。