[发明专利]跨特征尺度的智能视频编码方法、系统、设备及存储介质

权利要求书

1.一种跨特征尺度的智能视频编码方法，其特征在于，包括：

将参考帧变换到多个特征尺度空间，并对每一特征尺度空间的参考帧进行特征提取，获得多尺度参考特征；

将参考帧的原始特征与当前编码帧的特征相联结，通过一个自编码器隐式的生成运动信息并传输，通过解码出的运动信息产生跨尺度的运动位移矢量与跨尺度权重图，通过跨尺度的运动位移矢量在多尺度参考特征中采样，获得多尺度的采样结果，利用跨尺度权重图对所述多尺度的采样结果进行加权，获得当前编码帧的预测特征；

利用当前编码帧的预测特征计算特征维度的残差，并进行当前编码帧的重建。

2.根据权利要求1所述的一种跨特征尺度的智能视频编码方法，其特征在于，所述将参考帧变换到多个尺度空间，并对每一尺度空间的参考帧进行特征提取，获得多尺度参考特征包括：

通过特征金字塔网络将参考帧变换到多个特征尺度空间，获得多个特征尺度空间的参考帧；

将多个特征尺度空间的参考帧输入至下采样网络，获得多尺度参考特征。

3.根据权利要求1所述的一种跨特征尺度的智能视频编码方法，其特征在于，所述通过解码出的运动信息产生跨尺度的运动位移矢量与跨尺度权重图包括：

通过线性变换层，改变运动信息的通道维度，产生跨尺度的运动位移矢量，以及每个采样点的权重值构成的跨尺度权重图。

4.根据权利要求1所述的一种跨特征尺度的智能视频编码方法，其特征在于，所述利用当前编码帧的预测特征计算特征维度的残差，并进行当前编码帧的重建包括：

利用当前编码帧的预测特征计算特征维度的残差：

其中，F_t表示当前编码帧X_t的特征，表示当前编码帧的预测特征，R_t表示残差；

通过残差编解码器获得解码后的残差并结合当前编码帧的预测特征获得重建特征

将重建特征通过上采样变换网络，获得重建视频帧

5.一种跨特征尺度的智能视频编码系统，其特征在于，该系统包括：

多尺度参考特征提取单元，用于将参考帧变换到多个特征尺度空间，并对每一特征尺度空间的参考帧进行特征提取，获得多尺度参考特征；

跨尺度加权预测单元，用于将参考帧的原始特征与当前编码帧的特征相联结，通过一个自编码器隐式的生成运动信息并传输，通过解码出的运动信息产生跨尺度的运动位移矢量与跨尺度权重图，通过跨尺度的运动位移矢量在多尺度参考特征中采样，获得多尺度的采样结果，利用跨尺度权重图对所述多尺度的采样结果进行加权，获得当前编码帧的预测特征；

重建单元，用于利用当前编码帧的预测特征计算特征维度的残差，并进行当前编码帧的重建。

6.根据权利要求5所述的一种跨特征尺度的智能视频编码系统，其特征在于，所述将参考帧变换到多个尺度空间，并对每一尺度空间的参考帧进行特征提取，获得多尺度参考特征包括：

通过特征金字塔网络将参考帧变换到多个特征尺度空间，获得多个特征尺度空间的参考帧；

将多个特征尺度空间的参考帧输入至下采样网络，获得多尺度参考特征。

7.根据权利要求5所述的一种跨特征尺度的智能视频编码系统，其特征在于，所述通过解码出的运动信息产生跨尺度的运动位移矢量与跨尺度权重图包括：

通过线性变换层，改变运动信息的通道维度，产生跨尺度的运动位移矢量，以及每个采样点的权重值构成的跨尺度权重图。

8.根据权利要求5所述的一种跨特征尺度的智能视频编码系统，其特征在于，所述利用当前编码帧的预测特征计算特征维度的残差，并进行当前编码帧的重建包括：

利用当前编码帧的预测特征计算特征维度的残差：

其中，F_t表示当前编码帧X_t的特征，表示当前编码帧的预测特征，R_t表示残差；

通过残差编解码器获得解码后的残差并结合当前编码帧的预测特征获得重建特征

将重建特征通过上采样变换网络，获得重建视频帧