[发明专利]一种联合空频域的感知HEVC多描述视频编码

说明书

本发明涉及一种基于联合空频域的感知多描述视频编码方法，属于视频编码领域。本方法将帧内、帧间预测的预测误差像素块通过空域多相下采样，分为两组残差像素，使用一种适应多描述编码描述的DCT/DST变换方式，将两组残差像素块变换生成两组系数，结合其他编码信息经过熵编码生成两个描述，同时结合人类视觉系统，引入视觉显著性模型进行冗余率失真优化，通过HEVC编码器进行编码。将两个描述的码流打包分别通过不同的信道传输到解码端。解码端根据网络情况，分别进行频域反变换以及空域差错隐藏的边缘重建，以及像素交织的中心重建。本发明提出的一种基于联合空频域的感知多描述视频编码方法能够提高HEVC的差错恢复能力，获得更好的感知视频质量。

技术领域

本发明涉及视频编解码领域，尤其涉及一种联合空频域的感知HEVC多描述视频编码方法。

背景技术

由于当前的互联网通信中存在着信道干扰、路由延迟、网络拥塞等情况，而无线信道中的随机比特错误与突发错误等问题进一步恶化了信道条件，使得视频受到信道传输“不可靠性”的影响，难以获得高质量重建。高清视频编码标准HEVC在提升压缩性能的同时破坏了比特之间的相关性，传输过程中遇到的系列问题会导致更严重的重建失真，视频码流传输的鲁棒性面临更严峻的挑战。

多描述编码是一种为解决无线通信，有损信道传输中因分组丢失、误码、延迟等原因导致的视频质量严重下降的问题而提出的信源信道编码技术。对于一个视频源信号，可以将其分为多个描述，每个描述都包含独有的信息以及冗余信息，这些描述可以独立编解码接收端根据不同的描述接收情况采用不同的解码器进行重建出可接受的质量的视频。随着第五代移动通信(5G)网络时代的来临，进一步提升的带宽与速率，使得多描述编码(Multiple Description Coding，MDC)的应用更具合理性。因此，研究基于HEVC的多描述视频编码研究十分必要。

发明内容

本发明的目的在于提高HEVC的容错性能，提出一种联合空频域的感知HEVC多描述视频编码方法，能够提升HEVC的差错恢复能力。

本发明解决其技术问题所采用的技术方案是：

一种联合空频域的感知HEVC多描述视频编码方法，包括：

(1)编码端的步骤如下：

步骤1、对于输入视频序列在编码过程中将其帧内、帧间预测的预测误差像素块，通过多相子空间下采样的方法分为两组行列交错的残差像素。

步骤2、根据HEVC灵活的变换块分割方式，适应4×4，8×8，16×16，32×32这4种不同的变换块尺寸，针对多描述编码描述生成的需要，使用一种新的DCT/DST变换方式，能够将步骤1中的两组残差像素块变换生成两组系数，每组系数个数仅为原始DCT/DST系数的一半。

步骤3、将两组系数分别与滤波控制数据、帧内预测数据、运动矢量等信息相结合，作为待生成描述的主体信息。

步骤4、结合人类视觉模型，将输入的原始视频经过视觉显著性模型处理，将视频的每一帧图像划分为显著性区域和非显著性区域，属于显著性区域的像素称为显著性像素，属于非显著性区域的像素称为非显著性像素。在HEVC编码器将当前编码帧划分为多个编码树单元(Coding Tree Unit，CTU)之后，根据显著性像素的占比将CTU分为5类，分别代表5种人眼感知相关性等级，对应5种人眼视觉感知显著权重，对人眼视觉感知显著权重较大的信息需要引入更多的冗余，保证其有效传输。

步骤5、结合人类视觉特性，根据步骤4中获取的显著性权重，分别对每个CTU进行冗余率失真优化，提升重建视频的感知质量。

步骤6、建立网络信道丢包率与冗余率模型，根据信道的带宽和分组丢失率自动地调整多描述编码的冗余率，将冗余率失真优化后的两组编码信息经熵编码，生成两个码流，作为两个描述，分别在独立的信道进行传输。

(2)解码端步骤如下：