[发明专利]信息处理设备、信息处理方法和存储介质

说明书

本发明提供一种信息处理设备、信息处理方法和存储介质。该设备用于：获取与通过按预定帧更新间隔更新虚拟视点图像所再现的虚拟视点处的运动图像有关的表示该间隔的信息，该虚拟视点图像是使用多视点图像和视点信息生成的；获取在生成运动图像的多视点图像时所使用的帧信息，该帧信息包括与不同的摄像时刻相对应的多个帧的信息；以及基于更新信息和帧信息来生成视点信息，使得生成表示按比预定帧更新间隔长的间隔更新的虚拟视点的位置和从虚拟视点的方向的视点信息，作为使用比形成运动图像的虚拟视点图像的帧数少的帧数的多视点图像所生成的运动图像所用的视点信息。

技术领域

本发明涉及信息处理设备、信息处理方法和存储介质，并且更特别地涉及用于生成虚拟视点图像的技术。

背景技术

在生成虚拟视点图像的已知技术中，多个摄像设备布置在不同的场所，并且同步地拍摄图像。使用多个拍摄图像来生成虚拟视点图像，使得允许任意改变视点。更具体地，基于多个拍摄图像，生成这些拍摄图像中所包括的对象的三维形状数据，并且通过根据虚拟视点的位置和从虚拟视点观看对象的方向对三维形状数据进行绘制，来生成虚拟视点图像。

日本专利6482498公开了用于生成变速虚拟视点图像(诸如慢动作虚拟视点图像、或者在停止摄像时刻的进展的状态下视点改变的虚拟视点图像等)的技术。

为了实现生成这样的变速虚拟视点图像，可以基于在同一时间点拍摄到的图像来生成用于形成虚拟视点运动图像的多个帧的图像。例如，在生成要以60fps(帧/秒)再现的虚拟视点运动图像的情况下，可以从以60fps拍摄到的拍摄图像的各帧生成两帧的虚拟视点图像，由此生成1/2倍速度的慢动作虚拟视点图像。

然而，以这种方式生成的虚拟视点图像存在着虚拟视点图像中的对象的移动可能不自然的问题。例如，在慢动作虚拟视点图像中，如果摄像区域中的对象的位置按每两帧改变、而虚拟视点的位置按每帧改变，则在虚拟视点图像中的对象上可能发生抖动或不平滑移动。这样的问题可能不仅在生成慢动作虚拟视点图像时发生，而且可能还在拍摄图像的帧频低于虚拟视点图像的帧频时发生。

发明内容

根据本发明的一方面，一种信息处理设备，包括：第一获取单元，其被配置为获取与通过按预定帧更新间隔更新虚拟视点图像所再现的虚拟视点处的运动图像有关的表示所述预定帧更新间隔的更新信息，其中所述虚拟视点图像是使用i)基于由多个摄像设备从多个不同位置拍摄到的图像的多视点图像以及ii)表示虚拟视点的位置和从虚拟视点的方向的视点信息来生成的；第二获取单元，其被配置为获取在生成所述运动图像时所使用的多视点图像的帧信息，其中所述帧信息包括与不同的摄像时刻相对应的多个帧的信息；以及生成单元，其被配置为基于所述第一获取单元所获取到的更新信息和所述第二获取单元所获取到的帧信息来生成所述视点信息，使得：生成表示按比所述预定帧更新间隔长的间隔更新的所述虚拟视点的位置和从虚拟视点的方向的视点信息，作为使用比形成特定再现时间段的所述运动图像的虚拟视点图像的帧数少的帧数的多视点图像所生成的运动图像所用的视点信息。

根据本发明的另一方面，一种信息处理方法，包括：获取与通过按预定帧更新间隔更新虚拟视点图像所再现的虚拟视点处的运动图像有关的表示所述预定帧更新间隔的更新信息，其中所述虚拟视点图像是使用i)基于由多个摄像设备从多个不同位置拍摄到的图像的多视点图像以及ii)表示虚拟视点的位置和从虚拟视点的方向的视点信息来生成的；获取在生成所述运动图像时所使用的多视点图像的帧信息，其中所述帧信息包括与不同的摄像时刻相对应的多个帧的信息；以及基于所获取到的更新信息和所获取到的帧信息来生成所述视点信息，使得：生成表示按比所述预定帧更新间隔长的间隔更新的所述虚拟视点的位置和从虚拟视点的方向的视点信息，作为使用比形成特定再现时间段的所述运动图像的虚拟视点图像的帧数少的帧数的多视点图像所生成的运动图像所用的视点信息。