[发明专利]使用结构性保持运动估计的端到端视频压缩方法及系统

权利要求书

1.一种使用结构性保持运动估计的端到端视频压缩方法，其特征在于，包括：

S1、提取待编码的当前帧、原始的前一帧以及经解码处理后的前一帧各自的特征；

S2、根据步骤S1提取的当前帧的特征与经解码处理后的前一帧的特征，计算得到主运动场；

S3、根据步骤S1提取的当前帧的特征与原始的前一帧的特征，计算得到辅运动场；

S4、对步骤S2的主运动场和S3的辅运动场进行融合，得到结构性保持的运动场；

S5、对步骤S4得到的运动场进行压缩，得到重构运动场；

S6、根据重构运动场与经解码处理的前一帧的特征生成初始预测特征，并优化得到增强预测特征；

S7、计算当前帧的特征与增强预测特征之间的残差；

S8、根据残差与增强预测特征，得到重建特征；

S9、根据重建特征对当前帧进行重建。

2.根据权利要求1所述的一种使用结构性保持运动估计的端到端视频压缩方法，其特征在于，步骤S4具体为：主运动场分别在空间层面和通道层面上与辅助运动场深度融合，空间层面，表达式为：

θ_t＝Δ_main+Conv_3×3(Δ_s+Δ_c)

其中，θ_t表示结构性保持的运动场，Δ_main表示主运动场，Conv_3×3代表卷积核尺寸为3×3的卷积操作，Conv_k代表使用预测卷积核的卷积操作，预测卷积核通过提取辅运动场的空间信息得到，V表示由辅助运动场得到的通道注意力权值。

3.根据权利要求2所述的一种使用结构性保持运动估计的端到端视频压缩方法，其特征在于，预测卷积核表达式为：

其中，Linear表示一个线性层，(·)ⁿ表示n个模块的串行级联，Δ_aux表示辅运动场。

4.根据权利要求3所述的一种使用结构性保持运动估计的端到端视频压缩方法，其特征在于，步骤S6具体为：

S61、根据结构性保持的运动场，计算用于可变形卷积的偏移O_t；

S62、根据O_t与经解码处理的前一帧的特征，得到初始预测特征

S63、在空间层面对进行增强；

S64、在通道层面对进行增强；

S65、根据步骤S62、S63、S64的结果，得到增强预测特征，计算式为：

其中，表示增强预测特征，表示在通道层面对进行增强的结果，表示在空间层面对进行增强的结果。

5.根据权利要求4所述的一种使用结构性保持运动估计的端到端视频压缩方法，其特征在于，的计算式为：

6.根据权利要求4所述的一种使用结构性保持运动估计的端到端视频压缩方法，其特征在于，的计算式为

7.一种使用结构性保持运动估计的端到端视频压缩系统，其特征在于，包括：特征提取模块、结构性保持运动估计模块、运动压缩模块、运动补偿和预测增强模块、残差压缩模块、重建模块；

特征提取模块的输入为待编码的当前帧、原始的前一帧以及经解码处理的前一帧，特征提取模块的输出为待编码的当前帧、原始的前一帧以及经解码处理的前一帧各自的特征；

结构性保持运动估计模块根据输入的待编码的当前帧、原始的前一帧以及经解码处理的前一帧各自的特征，提取运动场；

运动压缩模块将输入的运动场进行压缩，从而输出重构运动场；

运动补偿和增强模块根据输入的重构运动场与经解码处理的前一帧的特征，生成预测特征；

残差压缩模块对当前帧特征与预测特征之间的残差进行压缩；

重建模块根据输入的压缩后的残差、预测特征，得到重建后的当前帧。