[发明专利]用于连贯且完整的视图合成的多通道附加工具

说明书

本申请涉及用于连贯且完整的视图合成的多通道附加工具。用于沉浸式视频的图像处理器的实施例包括如下技术：针对期望合成视图基于相对位置和朝向相关信息中的一个或多个对来自多个视图的图块重排序，选择在每个视图合成通道中要使用的视图的集合，对于合成视图执行两个或更多个视图合成通道以提供两个或更多个中间视图合成结果，并且对两个或更多个中间视图合成结果进行掩蔽和合并以提供最终视图合成结果。还公开和要求保护其他实施例。

优先权要求

本申请要求2019年3月19日递交的标题为“HYBRID MULTI-PASS ADD-ON TOOL FORCOHERENT AND COMPLETE VIEW SYNTHESIS OF NATURAL CONTENT”的美国临时专利申请62/820,758号的优先权，该美国申请被通过引用完全并入。

技术领域

本申请总地涉及视图合成的领域，并且更具体地涉及用于连贯且完整的视图合成的多通道(multi-pass)附加(add-on)工具。

背景技术

诸如两个或更多个线状或栅格排列的相机之类的相机的阵列在诸如平板设备、智能电话设备、膝上型设备、显示设备、网真系统(telepresence system)和电影摄制和视频制作系统之类的多种设备实现中正变得越来越常见。对于合成的计算机图形内容，分立的虚拟相机阵列可用于对其进行采样。在由这种相机阵列生成的观看体验的情境中，相机位置之间的中间虚拟视图被生成并被提供给用户以便显示。

在一些情境中，多数视图合成技术依赖于其他视图的纹理和深度内容来合成其间的新视图。在自然内容(即由相机捕获的内容)的情况下，关联的深度图是从捕获的纹理内容本身估计的。大多数深度估计技术使用相邻视图(即，2个或更多个视图)来找出差异(即，不同视图中的对应像素的相对移位)。然而，由于该估计是在局部完成的，所以得到的深度图往往缺乏所有视图间的连贯性(coherence)，这在捕获系统是具有大的基线(即，相机之间的间距)的许多相机时变得成问题。

当将所有可用视图用于合成时，深度图中缺乏连贯性导致伪像(尤其是在被遮蔽的区域中)。换言之，当投影所有视图以利用非连贯深度图创建3D内容时，对应的体素(voxel)在相同深度平面中不是对齐的，导致在反投影到期望的合成视图期间的许多伪像。此外，在部署中间视图合成以仅流传输关键视图的多视图编码方案中，来自非连贯深度内容的伪像造成低压缩效率，因为编码器难以找到正确的运动向量和匹配的块。这进而导致更多的带宽利用，因为多视图冗余无法被利用。

在合成内容(即，由虚拟相机采样的内容)的情况下，生成的深度图是理想的，然而它们对于边缘区域可能反映出深度值的急剧转变，这在使用所有可用视图渲染时导致光晕伪像。

正是考虑到这些和其他考虑事项，所以需要本改进。随着在相机阵列实现和其他情境中收集和显示这种图像或视频的愿望变得更加普遍，这种改进可能变得关键。

发明内容

根据本申请的一方面，公开了一种电子系统，包括：存储来自多个视图的一个或多个图块的存储器；通信地耦合到所述存储器的处理器；以及耦合到所述处理器的逻辑，所述逻辑用于：针对期望合成视图、基于相对位置和朝向相关信息中的一个或多个，对来自所述多个视图的所述一个或多个图块重排序；选择要被用于两个或更多个视图合成通道中的每个通道的相应视图集合；对于每个通道只利用属于所选视图集合的图块针对所述期望合成视图执行所述两个或更多个视图合成通道，以提供两个或更多个中间视图合成结果；并且对所述两个或更多个中间视图合成结果进行掩蔽和合并，以提供最终视图合成结果。