[发明专利]基于语义失真度量的视频编码的比特分配系统及方法

权利要求书

1.一种基于局域语义失真度量的视频编码的比特分配方法，包括：

步骤S100：在语义理解任务驱动下，从原始视频中提取空域和/或时域的关键特征，得到表征视频不同空域和/或时域内容对于语义理解任务重要性程度的权重因子的图，作为重要性图；其中，所述步骤S100包括：

子步骤S110：基于已经训练好的用于语义分析任务的神经网络，对原始视频中的输入图像进行一次前向传播计算；

子步骤S120：从语义分析任务的神经网络的输出端选取某个神经元，从该神经元的输出量执行一次反向传播计算，得到最后一层卷积层特征图的梯度；

子步骤S130：从子步骤S120得到卷积层特征图的梯度，经过全局平均池化和加权求和，得到梯度热度图；

子步骤S140：从子步骤S120中选取神经元的输出量执行一次导向反向传播计算，得到输入图像的梯度，即导向传播图；

子步骤S150：将子步骤S130得到的梯度热度图进行上采样操作，使其变成与输入图像相同大小，然后将上采样后的梯度热度图与子步骤S140中得到的导向传播图相加，得到最终的表征了原始视频不同空域和/或时域内容权重因子的重要性图；

步骤S200：接收所述步骤S100提供的视频在特定语义理解任务下的重要性图，为视频不同区域和不同帧分配比特，并确定编码参数；

步骤S300：接收所述步骤S200确定的编码参数，进行编码，同时将编码后的结果反馈给比特分配模块。

2.根据权利要求1所述的基于局域语义失真度量的视频编码的比特分配方法，其中，所述子步骤S110还包括：在语义理解任务驱动下，从原始视频中提取空域和/或时域的关键特征，得到原始视频不同空域和/或时域内容的权重因子。

3.根据权利要求1所述的基于局域语义失真度量的视频编码的比特分配方法，其中，所述子步骤S130还包括：

子分步骤S131：根据子步骤S120得到卷积层特征图的梯度，经过全局平均池化操作，得到特征图在每个通道上的权重：

其中，w_i为特征图梯度在第i个通道上经池化后得到的权重值；(N，M)分别表示特征图的宽和高；Grad_i，n，m表示特征图梯度在第i个通道上坐标(n，m)处的取值；

子分步骤S132：根据子分步骤S131得到的权重，对最后一个卷积层的特征图按照通道进行加权求和，得到梯度热度图：

其中，Grad_Cam表示得到的梯度热图度；F_i表示第i个通道上的特征图。

4.根据权利要求1所述的基于局域语义失真度量的视频编码的比特分配方法，其中，所述子步骤S140中的导向反向传播与普通反向传播的不同之处经过线性整流函数层时，将前向传播时线性整流函数层的输入和反向传播时线性整流函数层的梯度均大于零所对应的梯度回传，定义为：

其中，表示第l层的梯度；F_i^l表示第l层的特征；表示第l+1层的梯度。

5.根据权利要求1所述的基于局域语义失真度量的视频编码的比特分配方法，其中，所述步骤S100中对于原始视频的图像组中的每一张图像，计算每一张图像所有像素重要性因子的平均值，作为该图像的重要性因子

I_i＝avg(Map_i，n，m)

其中I_i表示第i张图像的重要性因子，Map_i，n，m表示第i张重要性图，在位置(n，m)处的重要性因子。

6.根据权利要求1所述的基于局域语义失真度量的视频编码的比特分配方法，其中，所述步骤S200中对于原始视频的图像组的总比特数，按照每张图像的重要性因子作为权重进行比特分配，

其中，R_i表示给第i张图分配的比特数，N_G表示图像组中包含图像的数目，R_GOP表示图像组的总比特数。