[发明专利]使用基于卷积神经网络(CNN)的滤波器来增强360度视频

权利要求书

1.一种用于对视频进行增强的装置，包括：

解码器，用于对接收到的360度投影格式视频比特流进行解码，以生成解码后的360度投影格式视频；

视口生成器，用于从所述解码后的360度投影格式视频生成视口；

基于卷积神经网络(CNN)的滤波器，用于从所述视口中去除伪影以生成增强的图像；以及

显示器，用于将所述增强的图像发送到显示设备。

2.根据权利要求1所述的装置，其中，所述解码器用于接收压缩的传统视频并解压所述传统视频，所述基于CNN的滤波器用于从解压的传统视频中去除伪影。

3.根据权利要求1所述的装置，其中，所述基于CNN的滤波器包括具有低复杂度(LC)拓扑的CNN。

4.根据权利要求1所述的装置，其中，所述基于CNN的滤波器包括具有高复杂度(HC)拓扑的CNN。

5.根据权利要求1所述的装置，其中，所述基于CNN的滤波器包括具有步长二卷积层和步长二反卷积层的CNN。

6.根据权利要求1-5的任意组合所述的装置，其中，所述基于CNN的滤波器包括环路外滤波器。

7.根据权利要求1-5的任意组合所述的装置，其中，所述伪影包括块状伪影。

8.根据权利要求1-5的任意组合所述的装置，其中，所述伪影包括振铃伪影。

9.根据权利要求1-5的任意组合所述的装置，其中，所述伪影包括径向伪影。

10.根据权利要求1-5的任意组合所述的装置，其中，所述伪影包括接缝伪影。

11.一种用于对视频进行增强的方法，包括：

经由处理器接收360度投影格式视频比特流；

经由处理器对所述360度投影格式视频比特流进行解码，以生成解码后的360度投影格式视频；

经由处理器从所述解码后的360度投影格式视频生成视口；以及

经由处理器，经由基于卷积神经网络(CNN)的滤波器从生成的视口中去除伪影，以生成增强的视口。

12.根据权利要求11所述的方法，其中，生成所述视口包括：从显示设备接收视图信息，并基于所述视图信息从所述解码后的360度投影格式视频生成所述视口。

13.根据权利要求11所述的方法，其中，去除所述伪影包括：使用具有低复杂度拓扑的CNN。

14.根据权利要求11所述的方法，其中，去除所述伪影包括：使用具有高复杂度拓扑的CNN。

15.根据权利要求11所述的方法，其中，去除所述伪影包括：使用具有步长二卷积层和步长二反卷积层的基于CNN的滤波器。

16.根据权利要求11-15的任意组合所述的方法，还包括：

接收压缩的传统视频比特流；

解压所述传统视频比特流，以生成传统视频帧；以及

经由所述基于CNN的滤波器从所述传统视频帧中去除伪影。

17.根据权利要求11-15的任意组合所述的方法，包括：使用基础实况图像和添加了块状伪影的对应图像的训练对，来训练所述基于CNN的滤波器以去除块状伪影。

18.根据权利要求11-15的任意组合所述的方法，包括：使用基础实况图像和添加了振铃伪影的对应图像的训练对，来训练所述基于CNN的滤波器以去除振铃伪影。