[发明专利]基于块的自适应超分辨率视频处理方法及系统

说明书

技术领域

本发明涉及数据压缩和图像处理领域，尤其涉及一种基于块的 自适应超分辨率视频处理方法及系统。

背景技术

随着网络和通信技术的发展，视频信号越来越多的需要通过网 络传输。但是，在带宽受限的情况下，网络只能够传输低码率的视 频编码信号。一般的方法，仅仅通过调整量化参数降低码率，这必 然会导致视频编码质量的降低。因此，提高低码率下视频编码信号 的质量受到越来越多的关注。超分辨技术的发展为解决这一问题， 提供了一种可行的方法。超分辨率技术是指利用多帧存在亚像素位 移的低分辨率图像之间存在的非冗余信息，生成一帧或多帧高分辨 率图像。随着一些低复杂度的超分辨率算法的提出，超分辨率在视 频压缩中也逐渐得到了应用。

现有下采样编码技术通常将进行下采样编码的区域特征信息作 为负载信息进行编码，以在编码端采用相应的上采样技术进行重建。 这些负载信息不利于提高编码效率。

发明内容

本发明的目的在于提供一种基于块的自适应超分辨率视频处理 方法及系统。基于本发明，能够提高中、低码率下视频编码的压缩 效率，同时能够保证高码率下，编码性能不低于传统的混合编码框 架的性能。

本发明基于块的自适应超分辨率视频处理方法包括如下步骤： 下采样模式确定步骤，对视频图像，选择基于块的下采样模式；下 采样步骤，依据所述下采样模式，对当前视频图像进行下采样，获 取下采样块；编码步骤，结合块编码预测模式和所述下采样模式， 选择依据率失真的编码模式，对获取的所述下采样块进行编码；解 码步骤，对编码的下采样块进行解码，获取解码后的下采样块，并 对其进行类型划分，基于所述下采样块的类型，对所述下采样块进 行上采样，获取上采样重建块；其中，所述编码步骤中，所述选择 依据率失真的编码模式具体为：确定第一率失真和第二率失真集合， 所述第一率失真为不进行下采样，直接编码下采样块所得到的率失 真；所述第二率失真集合包括多个第二率失真，所述第二率失真为 采用不同的下采样模式对所述下采样块进行编码产生的率失真以及 对所述下采样块进行上采样所产生的率失真之和；比较第一率失真 和第二率失真集合，选择最小的率失真所对应的编码模式。

在上述自适应超分辨率视频处理方法中，优选所述下采样步骤 中，所述下采样模式包括：模式0至模式3。其中，模式0为保持块 原始像素；模式1为垂直方向下采样，得到16×8的块；模式2为 水平方向下采样，得到8×16的块；模式3为水平方向和垂直方向 同时下采样，得到8×8的块。

在上述自适应超分辨率视频处理方法中，优选所述解码步骤中， 所述对下采样块进行类型的划分包括如下步骤：AC系数的1-范数计 算步骤，计算所述解码重建的下采样块的第j个8×8块的DCT系 数中，AC系数的1-范数S_j；平滑块判断步骤，判断第j个8×8块 的DCT系数中，AC系数的1-范数S_j是否小于阈值T_f，，若是，则第 j个8×8块为平滑块；否则，为运动块或非运动纹理块；其中，所 述阈值T_f，为预先设置；运动块、非运动纹理块判断步骤，计算解码 重建后的下采样块与预测块之间的运动差异，判断所述运动差异是 否位于阈值区间[T_ml，T_mu]，若是，所述第j个8×8块为运动块，若 否，所述第j个8×8块为非运动纹理块。

在上述自适应超分辨率视频处理方法中，优选所述解码步骤中， 依据如下规则对所述下采样块进行上采样，获取上采样重建块：若 第j个8×8块为平滑块，利用空域插值算法解码重建下采样块；若 第j个8×8块为非运动纹理块，利用边缘保持插值算法重建解码的 下采样块；若第j个8×8块为运动块，利用超分辨率重建算法重建 解码的下采样块；其中，所述超分辨率重建算法为：

将所述下采样块组成的低分辨率图像块投影到高分辨率图像块 的对应位置，缺失位置的像素利用参考块的对应像素重建，重建公 式如下，

SR(x，y)＝R(x，y)+g(x′，y′)-R(x″，y″)＝R(x，y)+e(x′，y′)