[发明专利]使用基于卷积神经网络(CNN)的滤波器来增强360度视频

说明书

用于对视频进行增强的示例装置包括解码器，用于对接收到的360度投影格式视频比特流进行解码，以生成解码后的360度投影格式视频。该装置还包括视口生成器，用于从解码后的360度投影格式视频生成视口。该装置还包括基于卷积神经网络(CNN)的滤波器，用于从视口中去除伪影以生成增强的图像。该装置还包括显示器，用于将增强的图像发送到显示设备。

背景技术

可以使用各种格式来压缩360度视频，以便在传输期间减小尺寸。例如，这种压缩可以包括各种几何变换(例如，直线投影(rectilinear projection))。

附图说明

图1是图示了用于使用基于CNN的滤波器对视频进行解码的示例系统的框图；

图2是图示了示例基于CNN的滤波器的框图；

图3是图示了用于使用基于CNN的滤波器对视频进行解码的方法的流程图；

图4是图示了能够使用基于CNN的滤波器对视频进行解码的示例计算设备的框图；并且

图5是示出了存储有用于使用基于CNN的滤波器对视频进行解码的代码的计算机可读介质的框图。

相同的数字在本公开和附图各处始终被用于提及相似的组件和特征。100系列的数字指代最初出现于图1中的特征；200系列的数字指代最初出现于图2中的特征；等等。

具体实施方式

对于网络带宽和存储容量有限的应用，可以将视频编码为低比特率压缩视频。然而，这种编码可能会引入可见的伪影，其可以包括压缩伪影(例如，块状伪影(blockyartifact)和振铃伪影(ringing artifact)等)。这些压缩伪影可能会严重降低用户的观看体验。例如，压缩伪影可以是可见的并且会分散观看视频的用户的注意力。

360度视频中可能会出现压缩伪影。如本文所使用的，360度视频是能够在视频内进行全360度范围运动的全向视频。360度视频正在成为一种新的全向视频形式，使最终用户能够自由选择他们喜欢的观看方向来观看场景。例如，可以使用几何变换将360度视频映射到每个用户的视口(viewport)。如本文所使用的，视口是指用于将三维(3D)场景投影到虚拟相机的位置的二维(2D)矩形。例如，可以使用头戴式显示器(HMD)或任何其他合适的虚拟现实观看设备，来控制虚拟相机的位置。在一个示例中，几何变换可以是直线投影。与可直接应用于捕获帧的传统视频压缩不同，360度视频的编码和后续压缩被应用于投影格式。因此，投影格式的编码可能会对视频编码器在360度视频上引入的压缩伪影产生相当大的影响。具体地，投影格式的压缩伪影在映射到用户的视口时可能会严重失真。具体地，几何变换扭曲了以投影格式出现的传统压缩伪影，并将这些失真的压缩伪影引入最终用户的视口。可能无法通过常规技术(例如，环路内去块和去振铃滤波器)来减少或去除这种失真的伪影。例如，360度视频的编码和解码可以被应用到投影格式中，因此环路内去块或去振铃滤波器可以减少投影格式中出现的压缩伪影。然而，用户不直接观看投影格式，而是观看视口。环路内去块滤波器因此可以减少但不能完全去除块状伪影。具体地，在低比特率条件下，在编码之后块状伪影可能很严重，投影格式中剩余的块状伪影可能出现在视口处，并在视口映射和生成过程之后失真。另一方面，在投影格式上可能不会被注意到的接缝伪影也可能在视口上变得可见。由于视口映射和生成阶段位于解码器循环之后的显示侧，因此没有环路内滤波器，并且可能无法处理出现在视口处的伪影。