[发明专利]信息处理装置、信息处理方法、再现处理装置和再现处理方法

说明书

图集处理单元生成图集识别信息和每条编码后信息，图集识别信息将纹理图像和与纹理图像对应的深度图像相关联，纹理图像用于形成参考二维图像和补充图像，参考二维图像通过从指定视点位置沿多个投影方向投影三维数据而形成并与每个投影方向相对应，补充图像用于从参考二维图像生成基于从所述规定视点位置在有限范围内移动的视点位置的移动二维图像，每条编码后信息包括第一编码后信息，第一解码后信息用于指示为存储纹理图像中的补充图像的“3DoF+”区域的信息，每条编码后信息用于渲染每个参考二维图像和每个移动二维图像。编码单元对纹理图像和深度图像进行编码，并且生成纹理层和深度层。文件生成单元生成包括纹理层、深度层、图集识别信息和编码后信息的文件。

技术领域

本发明涉及信息处理装置、信息处理方法、再现处理装置和再现处理方法。

背景技术

运动图像专家组-基于HTTP的动态自适应流媒体(MPEG-DASH)作为基于超文本传输协议(HTTP)的自适应内容交付技术的标准而存在。此外，国际标准化组织基本媒体文件格式(ISOBMFF)被称为“MPEG-4”的文件容器规范，MPEG-4是用于以MPEG-DASH的文件格式进行运动图像压缩的国际标准技术。

顺便提及，像全向视频一样，存在以下视频：该视频再现通过将三维结构图像映射到平面图像而获得的全向图像，三维结构图像是通过将沿水平方向360度周围的图像和沿垂直方向180度周围的图像投影到三维结构上获得的图像。全向视频也称为3DoF视频，并且全向图像也称为投影平面图像或3自由度(3DoF)图像。在MPEG-I全向媒体格式(OMAF)中，已经考虑使用MPEG-DASH来递送形成全向图像的三维结构图像。

此外，近年来，除了可以在3DoF中执行的围绕三个轴的周围观看之外，还考虑了“3自由度加(3DoF+)”视频的交付，该视频可以提供涉及在有限范围内的视点平行移动的视频观看体验。在MPEG-I第1b阶段要求中，向符合OMAF标准第一版的播放器(OMAF第1版播放器)提供向后兼容性被列为与“3DoF+”相关的要求，并且正在进行满足该要求的技术开发。

提供“3DoF+”的视频观看体验的数据被称为“3DoF+”流。“3DoF+”流包括作为元素的纹理层、深度层和“3DoF+”元数据。纹理层是用于渲染“3DoF+”视频的纹理块(patch)集合。另外，深度层是用于渲染“3DoF+”视频的深度块集合。另外，“3DoF+”元数据包括关于每个块在何处可见的视点位置的信息等。客户端装置基于“3DoF+”元数据从纹理层和深度层中选择要用于渲染观看视频的块并且执行渲染，从而再现“3DoF+”视频。

此外，“3DoF+”流中的纹理层包括被称为3DoF区域、被添加到3DoF区域以实现“3DoF+”观看的“3DoF+”区域的3DoF可观看区域。通过包括这样的纹理层，可以通过渲染“3DoF+”流的纹理层的3DoF区域来生成3DoF图像。换言之，甚至在不具有“3DoF+”视频的再现能力但具有3DoF渲染功能的客户端装置中，也可以设想到基于“3DoF+”流来生成3DoF视频的使用方法。

引用列表

非专利文献

非专利文献1：“ISO/IEC 14496-12:2015”，信息技术，视听对象编码，第12部分：ISO基本媒体文件格式，2015-12

发明内容

技术问题

然而，在渲染“3DoF+”流中的3DoF区域的情况下，客户端装置执行渲染整个“3DoF+”的处理，并且然后执行输出从特定视点位置观看的3DoF视频的处理。因此，在实际中，不具备“3DoF+”视频的再现能力但具有3DoF渲染功能的客户端装置难以通过使用“3DoF+”流再现3DoF视频。因此，用户的观看体验受到限制。

因此，本公开内容提供了能够扩展用户的观看体验的信息处理装置、信息处理方法、再现处理装置和再现处理方法。

问题的解决方案