[发明专利]信息处理装置、信息处理方法以及程序

说明书

该信息处理装置(10a)的自由视点图像生成单元(24)(生成单元)生成用于从任意视点位置观看叠加在背景信息(92)上的3D模型(90M)(3D对象)的自由视点图像(J)。然后，影子赋予单元(27)基于指示与背景信息(92)有关的光源的位置和由光源发射的光线的方向的光源信息(93)、3D模型(90M)的深度信息(D)(三维信息)和视点位置，生成在根据视点位置的3D模型(90M)中产生的光源的影子(94)，并将光源的影子(94)赋予自由视点图像(J)。

技术领域

本公开内容涉及信息处理装置、信息处理方法和程序，并且更特别地涉及能够将根据视点位置的3D对象的影子赋予通过从自由视点观察3D对象即被摄体获得的视频(自由视点视频)的信息处理装置、信息处理方法和程序。

背景技术

通常，提出了一种技术，在该技术中当将从自由视点观察到的被摄体的三维模型(下文中被称为3D模型)发送至重放设备时，分别发送该被摄体的3D模型和被摄体的影子，并且当重放设备重放3D模型时，选择影子的存在或不存在(例如，专利文献1)。

引文列表

专利文献

专利文献1：WO 2019/031259 A

发明内容

技术问题

然而，在专利文献1中，当在重放侧赋予影子时，不执行用于在没有不自然性的情况下赋予由任意光源在3D模型上产生的影子的控制。

本公开内容提出了信息处理装置、信息处理方法和程序，其能够将根据视点位置的3D对象的影子赋予通过从自由视点观察3D对象获得的自由视点视频。

问题的解决方案

为了解决上述问题，根据本公开内容的实施方式的信息处理装置包括：生成单元，其生成自由视点视频，在该自由视点视频中，从任意的视点位置观看叠加在背景信息上的3D对象；以及影子赋予单元，其基于指示与背景信息有关的光源的位置以及由光源发射的光线的方向的光源信息、3D对象的三维信息和视点位置，生成由光源在根据视点位置在3D对象上产生的影子，并将所生成的影子赋予自由视点视频。

附图说明

图1是示出生成3D模型的处理的流程的概述的图。

图2是示出表示3D模型所需的数据内容的图。

图3是示出用于生成通过从自由视点观察3D模型获得的自由视点视频的方法的图。

图4是示出根据第一实施方式的信息处理装置的硬件配置的示例的硬件框图。

图5是示出根据第一实施方式的信息处理装置的功能配置的示例的功能框图。

图6是示出根据第一实施方式的信息处理装置将影子赋予3D模型的方法的图。

图7是示出由根据第一实施方式的信息处理装置赋予3D模型的影子的示例的图。

图8是用于说明根据第一实施方式的信息处理装置将影子赋予3D模型的处理的流程的图。

图9是示出由根据第一实施方式的信息处理装置执行的处理的流程的示例的流程图。

图10是用于说明时间冻结的具体示例的图。

图11是示出当根据第二实施方式的信息处理装置执行时间冻结时用于影子强度控制的表的示例的图。

图12是示出根据第二实施方式的信息处理装置的功能配置的示例的框图。

图13是示出当根据第二实施方式的信息处理装置赋予影子时的处理的流程的示例的流程图。

图14是示出第三实施方式中的背景信息改变的自由视点视频的示例的图。