[发明专利]时空再循环网络

权利要求书

1.一种处理一个或多个帧的方法，包括：

获得包括当前帧和一个或多个参考帧的视频数据；

基于所述当前帧与所述一个或多个参考帧的比较来确定所述当前帧与所述一个或多个参考帧之间的差异；以及

基于所述差异低于阈值，基于从所述当前帧提取的较高空间分辨率特征和由第二神经网络从所述一个或多个参考帧提取的较低空间分辨率特征来使用第一神经网络来执行所述当前帧的语义分割，所述第一神经网络具有比所述第二神经网络更小的结构和更低的处理成本中的至少一者。

2.如权利要求1所述的方法，其中所述第二神经网络包括分割网络，并且所述第一神经网络包括所述分割网络的子网络结构。

3.如权利要求1所述的方法，其中所述差异包括与所述当前帧相关联的像素值和与所述一个或多个参考帧相关联的像素值之间的差异。

4.如权利要求1所述的方法，其中所述差异包括所述当前帧与所述一个或多个参考帧之间的运动中的变化量。

5.如权利要求1所述的方法，其中所述比较包括使用分类网络来生成分数，所述分数指示所述当前帧与所述一个或多个参考帧之间的所述差异的幅度。

6.如权利要求1所述的方法，其中所述差异基于第一边界映射中与所述当前帧相关联的一个或多个边界和第二边界映射中与所述一个或多个参考帧相关联的一个或多个边界之间的距离。

7.如权利要求1所述的方法，其中所述比较包括图像级比较和区域级比较中的至少一者，并且其中所述差异基于所述图像级比较和所述区域级比较中的至少一者。

8.如权利要求1所述的方法，其中所述第二神经网络包括多级网络结构，其中所述多级网络结构包括一个或多个比与所述第一神经网络相关联的网络结构更深的级别，并且其中所述较低空间分辨率特征在所述多级网络结构的所述一个或多个更深的级别处被提取。

9.如权利要求1所述的方法，其中所述语义分割进一步基于根据一个或多个先前帧生成的一个或多个分割映射。

10.如权利要求1所述的方法，进一步包括：

基于所述语义分割来生成包括与所述当前帧相关联的一个或多个分割映射的分割输出。

11.如权利要求1所述的方法，其中执行所述语义分割包括：

从存储中获得所述较低空间分辨率特征；

池化所述较低空间分辨率特征；

确定与所述当前帧相关联的特征集合，所述特征集合通过将经池化的较低空间分辨率特征与所述较高空间分辨率特征组合来确定；以及

基于与所述当前帧相关联的所述特征集合来生成分割输出。

12.如权利要求11所述的方法，进一步包括：

基于所述经池化的较低空间分辨率特征和所述较高空间分辨率特征的基于卷积的融合来生成特征更新；以及

在所述存储中存储所述特征更新。

13.如权利要求1所述的方法，进一步包括：

基于附加帧与一个或多个附加参考帧的第二比较来确定所述附加帧与所述一个或多个附加参考帧之间的附加差异；以及

基于所述附加差异高于所述阈值，使用所述第二神经网络来执行所述附加帧的语义分割。