[发明专利]处理体数据

说明书

至少一个实施例涉及一种用于对表示场景的体视频进行编码的方法和设备，所述编码基于表示场景的子部分的2D投影的颜色和深度的补片，其中，当第一补片能够在小于或等于定义第二补片所沿的时间段的给定时间间隔内被打包到第二补片中时，所述第一补片在所述时间间隔内被打包到所述第二补片中。还提供了解码方法和设备。

技术领域

本发明的至少一个实施例一般涉及编码/解码体视频。

背景技术

本部分旨在向读者介绍可能与下面描述和/或要求保护的本发明的实施例中的至少一个的各方面相关的技术的各方面。相信该讨论有助于向读者提供背景信息，以便于更好地理解至少一个实施例的各个方面。

随着近来与改进的屏幕分辨率、视场以及帧速率相关联的消费者头戴式显示器(Oculus、HTC Vive等)的出现，虚拟现实确实在迅速发展。这种现象尤其打开了在包括游戏、教育/培训以及多媒体的许多领域中的新型应用的大门。在后一领域中，尤其出现了包括所谓的360°视频的新类型的视频内容。这种视频允许用户通过围绕固定视点的纯旋转来观看他自己的周围。

即使纯旋转对于第一全向视频体验是足够的，对于预期更自由的观看者它们也可能迅速变得沮丧。更重要的是，它也可能引起眩晕，因为头部旋转包括头部的小平移，这种小平移不能通过这种体验再现。

这些360°内容的替代被称为体视频或6自由度(6DoF)视频。当观看这样的视频时，除了旋转之外，用户还可以在观看的内容内平移他的头部并且体验视差。这种视频显著地增加了沉浸感和场景深度的感知，而且通过在头部平移期间提供一致的视觉反馈来防止眩晕。基本上通过专用传感器的方式创建相关内容，该专用传感器允许同时记录感兴趣场景的颜色和深度。使用与摄影测量技术结合的彩色相机装备是进行这种记录的常见方式。虽然360°视频简单地归结为由球形纹理的去映射产生的特定图像的时间连续(例如，宽长/等矩形图像)，但是6DoF视频“帧”更复杂，因为它们应当嵌入来自若干视点的信息。它们可以被看作由上述3D捕捉产生的时间序列的彩色点云。

可以根据观看条件考虑两种不同类型的体视频。更许可的是，一个允许在视频内容内进行完全自由的导航，而第二个(我们在这里考虑的)将用户观看空间限制到有限的体积。后一种情况是坐在扶手椅上的观众成员的自由导航和被动观看条件之间的自然折衷。此外，可以想到，在比自由视点情况更短的条件中，获取内容需要更少的努力(由于可视化框的限制)，并且当前在标准组织中以3DoF+的名称被考虑在用于沉浸式视频(MIV)的标准MPEG-I部分7/元数据(用于沉浸式媒体(视频)的元数据N18464和W18470的ISO/IEC JTC 1/SC29/WG11工作草案1)中。

3DoF+内容(体视频)通常在一段时间内作为多视图+深度(MVD)帧的集合来提供，即作为MVD帧的集合。在该时间段的时刻，MVD帧将体视频的颜色和深度表示为多个视图对。每对视图包括用于颜色的视图和用于深度的一个视图。体视频可以来自真实的捕获，或者可以通过专用(可能是真实感的)渲染从现有的计算机图形内容中生成。

最近，已经提出了基于视频的框架来编码/解码体视频。

粗略地说，体视频作为封装在颜色和深度图册(altas)中的颜色和深度补片的对来传送，颜色和深度图册然后利用常规视频编解码器(通常是HEVC)来编码。每对颜色和深度补片表示场景的子部分在该时间段上的2D(典型地为球形)投影，即捕获一对视图的子部分在该时间段上的颜色和深度，并且所有颜色和深度补片对的集合在编码阶段被设计为表示整个场景的2D投影，同时尽可能不冗余。换言之，体视频被定义为由一组相机(用于自然内容的真实相机或用于计算机生成的内容的虚拟相机)捕捉并表示场景的一组视图(颜色+深度)。这些视图通常是冗余的。补片是足以完全表示场景的视图的子部分，子部分不冗余或几乎不冗余。

使用基于视频的译码器对颜色和深度图册进行编码利用了使用帧内的静态位置的颜色和深度补片的优点来在每个时间段进行编码。这使得视频编码时间预测实际上更容易和有效。