[发明专利]基于独立编码的背景更新的视频传输

说明书

提供了系统和方法，用于减轻视频传输的带宽限制，在接收器处提高视频的质量，并改进VR/AR体验。特别地，提供了一种改进的视频传输和呈现系统，用于生成高分辨率的视频。所述系统其中具有发送器和VR/AR接收器；所述发送器包括外部编码器和核心编码器，而所述接收器包括核心解码器和外部解码器。所述外部编码器适于从源接收视频并分别地输出显著视频和编码的三维背景，并且所述外部解码器适于将背景与显著视频合并，从而产生增强的视频。还提供了一种在没有云台变焦(PTZ)硬件的情况下模拟PTZ操作的系统。进一步提供了用于视频传输的方法，通过所述方法，生成三维背景模型，背景被独立地编码、增量地更新，并且背景和更新被与视频独立地发送。

技术领域

本申请总体上涉及视频传输(video transmission)。具体地，本申请涉及用于减轻视频传输的带宽限制并在接收器处提高视频的质量的装置和方法。更具体地，提供了改进的视频传输系统和方法，用于基于独立编码的背景和背景更新在接收器处生成高分辨率视频。

背景技术

实时视频通信系统和新兴的网真(telepresence)领域正在面临着内在的挑战，因为它们试图向远程用户模拟存在于另一物理空间中的体验。这是因为与具有当前技术水平的分辨率的市售单镜头摄像机相比，人眼利用将其高分辨率中心凹(fovea)固定在关注对象上的能力，在其视场(field of view)上保持了极高的优势。参见http://www.clarkvision.com/imagedetail/eye-resolution.html(在120度的范围，将人眼的分辨率估计为576兆象素)。此外，网真系统还在实践中受到对于大多数用户可用的网络带宽的限制。因此，除了使用在大多数平板电脑、手机、和笔记本电脑中装备的窄视场摄像机进行的单一的人与人视频聊天之外，网真仅具有有限的吸引力(uptake)，这也就不足为奇了。

商业网真系统中的自动和手动云台变焦(PTZ，pan-tilt-zoom)摄像机试图通过光学和机械地将视场固定在场景中所选的关注部分上来克服单镜头摄像机分辨率的限制。这样做部分地减轻了分辨率的限制，但仍有一些缺点。例如，在一给定时间只能进行一次机械固定；因此，可能无法令人满意地服务具有不同关注点的多个远程用户。此外，变焦镜头和机械云台机构提高了摄像机系统的成本，并对整个系统的可靠性提出了新的挑战。也就是说，与通常在其使用寿命期间维持更少的移动圈数(move cycle)的手动系统相比，自动PTZ系统对机械结构(mechanics)产生了更高的要求。与固定摄像机相比，对于高质量视频编码的带宽需求也显著增加。类似地，现有系统中的一些数字PTZ也存在如上所述的许多缺点，包括例如不能由远端的多个用户控制和对于视频编码的比特率要求较高。

全景和超广角视频摄像机可以满足网真系统的分辨率要求，以提供理想的用户体验。这些摄像机在传感器分辨率和像素速率方面的增长潜力远远超出现有的标准。这可以例如通过弯曲传感器表面和单中心镜头设计来实现。参见http://www.jacobsschool.ucsd.edu/news/news_releases/release.sfe？id＝1418(讨论了分辨率可至少为85兆象素的120度FOV成像器)；http://image-sensors-world.blogspot.co.il/2014/04/vlsi-symposia-sony-presents-curved.html(传感器制造商公布了弯曲图像传感器的原型)。然而，这样的设计将对当前网络的容量和视频编码效率造成巨大压力，从而使得它们对于广泛的现实部署来说是不切实际的。例如，每秒30帧的85兆象素的摄像机将需要低至0.0002比特/像素的压缩，以适应10兆比特/秒(Mbit/s)的链路。考虑到例如在良好的条件下以0.05比特/像素运行的H.264等当前的视频压缩标准，这在现今通常是无法达到的。