[发明专利]一种基于字典学习残差重建的压缩感知视频重建方法

摘要

本发明涉及压缩感知和视频编解码领域，是一种基于字典学习残差重建的压缩感知视频重建方法。该方法先对视频划分图像组（Group of Picture,GOP），每组指定关键帧和非关键帧，关键帧和非关键帧采用不同采样率、不同方法逐帧逐块顺序编码。在解码端，取一个GOP，先采用多参考帧加权平均获得其初始重建；再采取迭代法获得GOP的最终重建。在迭代中先使用多参考帧对当前帧进行运动估计获得其运动补偿图像；接着采用多参考帧残差域字典学习，获得当前帧各个块的残差域自适应基，进行残差重建；最后，根据各帧的运动补偿图像和残差，得到该GOP的最终重建，进而得到重建视频，实现压缩感知视频的高质量重建。该方法可广泛应用于基于压缩感知的视频重建等多个领域。

主权项

一种基于字典学习残差重建的压缩感知视频重建方法，其特征在于：在编码端对关键帧和非关键帧采用不同采样率进行差值压缩感知编码，在解码端利用边信息进行迭代的基于残差域KL变换(Karhunen‑Loeve Transform，KLT)字典学习的多参考帧的运动估计与运动补偿残差重建，具体步骤如下：步骤一：在编码端，把视频序列的若干帧划分为一个图像组(Group of Picture，GOP)，每个GOP的首帧为关键帧，其它所有帧为非关键帧；关键帧和非关键帧采用不同采样率，不同方法逐帧逐块顺序编码；关键帧采用独立的基于块的压缩感知方法编码，非关键帧采用基于块的差值编码；具体地：1)将每一帧划分为多个不重叠的B×B大小的块，并将每块行先拉伸为一个向量其中i表示块的序号；对于关键帧，取一个行正交的规范化随机矩阵的前Mk行构成感知矩阵直接对每块进行压缩感知编码，即其采样率为Mk/N；2)对于非关键帧，采用一个行正交的规范化随机矩阵的前Mnk行构成感知矩阵对每块进行差值感知编码；首先将非关键帧减去相邻关键帧，第2至第K/2帧减去当前GOP的关键帧，第K/2+1至K帧减去下一GOP的关键帧，即第K+1帧；然后差值基于块进行感知编码，形式化表示为:其采样率为Mnk/N；同时，由于非关键帧采用关键帧进行编码，我们一般对关键帧采用较高的采样率以提高重建性能，而非关键帧采用较低的采样率以提高压缩率，即Mnk<Mk＜＜N；步骤二：在解码端，采用一种字典学习的基于运动估计与运动补偿(ME/MC，Motion Estimation/Motion Compensation)多帧参考的残差重建方法，采用学习的自适应残差域稀疏表示基来表示预测残差，逐帧进行视频恢复；自适应残差域稀疏表示基从当前GOP中已重建块的帧间差值中采用KLT方法生成，残差重建采用迭代方式；具体步骤包括：1)在首次迭代中，首先对当前GOP和下一个GOP的关键帧采用固定稀疏表示基逐块进行独立重建；即求解第i块估计值为帧图像估计值为这里Ψ是一个固定稀疏表示基；对于非关键帧，首次迭代中，采用基于固定稀疏表示基的残差重建方法进行恢复；以当前GOP的关键帧和下一个GOP的关键帧或与当前帧邻近的多个已重建帧加权平均值作为当前帧的预测xpred，首先计算，其中为已解码邻近的关键帧，第2至第K/2帧中为当前GOP的关键帧，第K/2+1至K帧为下一GOP的关键帧；求解min||ds||1s.t.dynk＝Φnkdxnk＝ΦnkΨds，得到残差的估计由此得到当前非关键帧的首次估计值2)对于当前编码帧，把当前GOP中与之邻近多个已重建帧作为参考帧，构建KLT字典；首先，计算相邻两个参考帧的差值，dxref＝xref1‑xref2；然后，提取所有参考帧差值中的重叠B×B大小的块作为残差原子，向量化后构成一个残差原子矩阵D，进行KL变换，即计算残差原子矩阵的相关矩阵后进行奇异值分解(Singular Value Decomposition，SVD)，得到特征向量向量矩阵U，将U作为自适应残差域稀疏表示基ΨKLT；具体地，先计算残差原子矩阵的协方差矩阵dj表示残差原子矩阵的第j列，即第j个原子，然后进行奇异值分值，R＝U∑UT，ΨKLT＝U；3)对于当前编码帧第i块，把当前GOP中与之邻近多个已重建帧作为参考帧，将所有参考帧对称扩展W个像素；以上次迭代中的估计值为当前帧，在所有扩展参考帧中以第i块为中心的W×W矩形搜索窗口中进行运动估计，找到与当前块最匹配的块作为运动补偿块，所有块的运动补偿块构成运动补偿帧xmc；4)计算当前帧与运动补偿帧的残差测量值，对于关键帧，由于采用了直接编码，因此其残差测量值为dyk＝yk‑Φkxmc；对于非关键帧，由于采用差值编码其测量值，解码端得到的测量值为当前帧与关键帧的差值的测量值，因此其残差测量值为5)逐帧逐块的求解压缩感知非线性优化问题，得到残差的估计，对于关键帧，求解min||ds||1s.t.dyk＝Φkdxk＝ΦkΨKLTds，得到残差的估计对于非关键帧，求解min||ds||1s.t.dynk＝Φnkdxnk＝ΦnkΨKLTds，得到残差的估计6)得到本次迭代当前帧解码帧的估计，即，对于关键帧对于非关键帧7)重复2)‑6)，直到迭代条件满足。