[发明专利]信息处理装置、信息处理方法和存储介质

说明书

本发明提供信息处理装置、信息处理方法和存储介质。本发明的信息处理装置是如下信息处理装置，其输出用于生成虚拟视点图像的视点信息，虚拟视点图像基于通过多个摄像装置从彼此不同的方向进行摄像而获得的图像数据，所述信息处理装置包括：获取单元，其被构造为获取具有多个虚拟视点参数集的视点信息，所述多个虚拟视点参数集分别表示虚拟视点在多个时间点的位置和朝向；改变单元，其被构造为，基于在回放根据由获取单元获取的视点信息的虚拟视点图像期间的用户操作，来改变视点信息中包括的虚拟视点参数集；以及输出单元，其被构造为输出具有由改变单元改变的虚拟视点参数集的视点信息。

技术领域

本发明涉及一种在生成虚拟视点图像时进行操作以指定任意虚拟视点的技术。

背景技术

近年来，一种技术引起了人们的注意，该技术通过在不同位置安装多个相机以从多个视点进行同步摄像、并使用通过摄像获得的多视点图像，来生成根据任意视点的虚拟视点图像(而不仅仅是依据相机布置位置处的图像)。对基于多视点图像的虚拟视点图像的生成和浏览，是通过将由多个相机拍摄的图像一起放在诸如服务器的图像处理单元中，在图像处理单元中基于虚拟视点进行诸如渲染的处理，并进一步在用户终端上显示虚拟视点图像来实现的。

在虚拟视点图像中，通过控制器操作布置在虚拟三维空间上的虚拟相机的位置和朝向来进行视点的改变。具体地，通过X、Y和Z这三个轴来控制虚拟相机的位置，并且通过平转(pan)、倾斜(tile)和滚动(roll)这三个轴来控制虚拟相机的朝向(orientation)。此外，通过变焦轴来控制虚拟相机的视角，并且通过时间轴来控制回放速度。

传统上，改变虚拟视点图像中的视点的操作被划分为由多个操作者中的各操作者进行对各操作轴的操作，以便操作上述各操作轴。另选地，一个操作者通过使用双手来同时操作两个控制器，或者通过使用能够同时操作上述各操作轴的控制器来进行操作。此外，国际公开第2016/178340号公开了一种系统，该系统存储由其他用户在过去进行的操作历史，并且将操作历史作为推荐来进行呈现(分发)，以便获取根据期望视点的视频图像，同时减轻操作的负担。

然而，在操作被划分给多个操作者的情况下，担心一个操作者进行与其他操作者所期待的操作不同的操作。因此，存在无法获得期望的相机参数的情况。此外，在同时创建大量虚拟视点图像的情况下，在操作者数量大的状况下，还担心由于劳动力成本升高而提高生产成本。

另一方面，在一个操作者同时操作上述各操作轴的情况下，难以精确地调整所有操作轴的值。此外，在期望通过仅指定一部分操作轴的值来编辑(调整)曾经创建的相机参数的情况下，需要从头开始对所有操作轴再次进行操作，因此，难以获得期望的虚拟视点图像。这在国际公开第2016/178340号中是相同的，即，存在对虚拟视点操作的自由度的限制。

发明内容

为了解决上述问题，本发明的信息处理装置是如下信息处理装置，其输出用于生成虚拟视点图像的视点信息，虚拟视点图像基于通过多个摄像装置从彼此不同的方向进行摄像而获得的图像数据，所述信息处理装置包括：

获取单元，其被构造为获取具有多个虚拟视点参数集的视点信息，所述多个虚拟视点参数集分别表示虚拟视点在多个时间点的位置和朝向；

改变单元，其被构造为，基于在回放根据由获取单元获取的视点信息的虚拟视点图像期间的用户操作，来改变视点信息中包括的虚拟视点参数集；以及

输出单元，其被构造为输出具有由改变单元改变的虚拟视点参数集的视点信息。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

图1A是示出图像处理系统的整体构造的图；

图1B是示出信息处理装置的硬件构造的图；

图2是信息处理装置的输入/输出单元的示意图；