[发明专利]基于视觉显著性的HEVC优化算法

说明书

本发明公开了一种基于视觉显著性的HEVC优化算法，首先，建立了一个高清无损eye‑tracking数据集，用以推动感知高清视频压缩的研究；在视频显著性部分，利用深度学习在图像处理中的优异性能，使用空间注意力增强的VGG‑16网络提取视频帧的静态特征，随后通过ConvLSTM处理视频长范围的时域信息进行高精度的视频显著性检测；在高清视频压缩部分，使用预测的显著性图得到CU的显著性，从而使用感知显著性的率失真优化，可以去除更多的主观视觉感知冗余，提升了视频压缩效果，同时降低了视频压缩时间，进而使用感知显著性的QP选择算法，视频压缩效果得到进一步提升。

技术领域

本发明涉及视频处理技术领域，更具体的说是涉及一种基于视觉显著性的HEVC优化算法。

背景技术

随着超高清晰度电视、数字电视、智能手机、网络直播等的出现，越来越多的高清、超高清视频在流媒体上传输和存贮，而这些高清视频的数据量是庞大的，因此，发展视频压缩标准减少视频的容量是必要的，基于这些需求，高效视频编码作为先进的视频编码标准产生。

高效视频编码(HEVC)相对于现有标准，可显著提高压缩性能。它通过减少视频中的统计冗余和少量的感知冗余来实现视频的高效压缩。在统计冗余方面，其在帧内预测和帧间预测采用了更加复杂的编码模式，结合熵编码实现对过去标准的极大改进，在感知冗余方面，其通过色度亚采样，去块滤波等方法实现了一定的减少。然而，HEVC也带来了相当大的编码复杂度，同时，使用传统技术以减少统计冗余为核心进一步提升视频压缩性能是困难的。

最近，对人类视觉系统(HVS)的研究发现，人眼仅仅关注一个很小视角范围的物体，对于视野外的场景察觉是模糊的，这种人眼的特性被称为视觉显著性，其并未应用于现有的视频压缩标准，合理使用人眼的视觉特性可进一步减少视频中的感知冗余同时提升视频的感知质量。

因此，如何提供一种利用人眼感知特性从而提高视频的压缩质量和降低编码码率的HEVC优化算法是本领域技术人员亟需解决的问题。

发明内容

有鉴于此，本发明提供了一种基于视觉显著性的HEVC优化算法，首先，建立了一个高清无损eye-tracking数据集，用以推动感知高清视频压缩的研究；在视频显著性部分，利用深度学习在图像处理中的优异性能，使用空间注意力增强的VGG-16网络提取视频帧的静态特征，随后通过ConvLSTM处理视频长范围的时域信息进行高精度的视频显著性检测；从而使用感知显著性的率失真优化，可以去除更多的主观视觉感知冗余，提升了视频压缩效果，同时降低了视频压缩时间，进而使用感知显著性的QP选择算法，视频压缩效果得到进一步提升，能够有效提升视频的感知质量，在质量不变时显著降低视频码率，同时减少压缩时间。

为了实现上述目的，本发明提供如下技术方案：

一种基于视觉显著性的HEVC优化算法，包括以下步骤：

基于神经网络提取静态图像特征，输出所述静态图像特征的空间重要性权重，加权后的静态图像特征学习时域特征进行视频显著性检测，得到视频显著性图。

通过显著性图计算各个CU块的显著性值，进而使用感知显著性的率失真优化算法进行模式选择，最后通过显著性动态调整CU的QP值，进行不同区域不同的量化策略，得到满足高显著性区域高质量的优化目标。

优选的，在上述的一种基于视觉显著性的HEVC优化算法中，显著性预测的具体步骤：输入原始特征图，采用VGG-16网络作为骨干提取静态图像特征，采用空间注意力模块学习骨干输出静态图像特征的空间重要性权重，通过加权乘积求和得到增强后的特征图，使用残差连接将增强后的特征图与原始特征图融合；通过有状态的ConvLSTM模块在原始空间特征基础上学习时域特征进行视频显著性预测。