[发明专利]基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法

权利要求书

1.一种基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法，其特征在于，包括以下步骤：

在卷积神经网络的基础上结合HEVC压缩过程中对各个CU块的运动估计结果对输入视频进行显著性检测；

计算各CU块的显著值并对其对应的QP值进行选择，并将各CU块的显著值加入传统的率失真计算方法，获取最终的率失真优化目标，实现高质量的视频感知编码；

计算各CU块的显著值并对其对应的QP值进行选择，具体包括以下步骤：

计算各CU块的显著值，计算公式为：

其中，S_n×n(k)表示第k个CU块的显著值，第k个CU块的大小为n×n，i表示n×n个块中从左到右的坐标，j表示从上到下的坐标；

计算所有CU块的平均显著值，计算公式为：

其中，S_avg表示所有CU块的平均显著值，width表示视频帧的宽，height表示视频帧的高；

根据计算所得的当前CU块的显著值和所有CU块的平均显著值，动态调整当前帧的QP值，得到当前CU块的感知QP值；

所述卷积神经网络的结构包括：

(1)卷积层：经过卷积操作后得到表示图像局部特征的特征图，每个卷积层后加一个修正线性单元；

(2)局部响应归一化层：对神经网络中间层的输出进行了平滑，输出如下：

其中，(x,y)表示像素位置，i表示通道索引，N为通道数，α,β,k,n均为自定义常数；l表示在第l个局部响应归一化层，j的表示对应的通道索引；

(3)最大池化层：最大池化层用于提取局部相近的语义信息，该过程通过一个N×N的滑动窗口操作，其中窗口移动步长为N，通过计算原图像的局部被窗口所包含区域的最大值作为新的特征图对应位置的像素值；

(4)反卷积层：实现将小尺寸的特征图尺寸缩放为原图像的大小，得到最终输出。

2.根据权利要求1所述的一种基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法，其特征在于，对输入视频进行显著性检测，具体包括以下步骤：

输入原始视频帧，根据卷积神经网络对输入视频帧进行空域显著性检测，生成空域显著性检测结果；

根据HEVC压缩过程中帧间预测过程得到的运动矢量，生成时域部分的运动显著性结果；

将所述空域显著性检测结果和所述时域部分的运动显著性结果，采用熵不确定度算法进行融合。

3.根据权利要求2所述的一种基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法，其特征在于，根据HEVC压缩过程中帧间预测过程得到的运动矢量，生成时域部分的运动显著性结果，具体包括以下步骤：

从视频压缩域提取运动信息，利用HEVC中进行浅层解码的过程，得到视频帧中预测单元PU的运动矢量信息；

将所述运动矢量信息的大小作为块运动的剧烈程度重组成时域运动特征图。

4.根据权利要求3所述的一种基于卷积神经网络和HEVC压缩域显著信息的视频压缩方法，其特征在于，根据所述时域运动特征图，采用全局运动估计算法，采用透视模型得到视频中的全局运动信息，该过程可以表述为：

式中(x,y)和(x′,y′)分别是当前帧和参考帧的对应像素点，参数集m＝[m₀,...,m₇]代表需要估计的全局运动参数；

使用梯度下降法对该模型求解，计算可得代表摄像机运动信息的全局运动，由原始运动减去全局运动，得到相对于背景的前景运动；

根据显示运动速度的感知先验分布幂函数：

式中，v表示运动速度；k和α表示常数；

根据其自信息计算运动的时间显著性，计算公式如下：

S^(t)＝-logp(v)＝αlogv+β

其中β＝-logk，α＝0.2，β＝0.09，最后将其归一化到[0,1]，得到时域显著性图。