[发明专利]信息处理设备及其控制方法和计算机可读存储介质

说明书

本发明涉及一种信息处理设备及其控制方法和计算机可读存储介质。用于系统的信息处理设备基于通过使用多个照相机从多个方向进行摄像所获得的图像数据来生成虚拟视点图像。所述信息处理设备包括：获得单元，其被配置为获得前景图像和背景图像，所述前景图像是基于用于生成虚拟视点图像的拍摄图像中的包括预定对象的对象区域，以及所述背景图像是基于所述拍摄图像中的与所述对象区域不同的区域，其中所获得的前景图像和所获得的背景图像具有不同的帧频；以及输出单元，其被配置为输出所述获得单元所获得的并且彼此相关联的前景图像和背景图像。

(本申请是申请日为2017年5月22日、申请号为2017800323438、发明名称为“信息处理设备及其控制方法和计算机可读存储介质”的申请的分案申请。)

技术领域

本发明涉及用于生成虚拟视点图像的系统。

背景技术

近年来，使用通过利用安装于不同位置的不同照相机从多个视点进行同步摄像所获得的多个视点图像来生成虚拟视点内容的技术已引起关注。根据上述的使用多个视点图像来生成虚拟视点内容的技术，用户可以以与正常图像相比更高的现实感以各种角度观看足球或篮球的精彩场景。

基于多视点图像的虚拟视点内容的生成和浏览可以通过在图像处理器中收集多个照相机所拍摄到的图像、使用图像处理器进行包括3D模型生成和绘制的处理、并且将处理后的图像发送至用户终端来实现。

此外，专利文献1公开了如下的技术：基于多个照相机所进行的摄像来获得前景图像和背景图像，并且使用该前景图像和背景图像来估计被摄体的3D形状。

然而，在专利文献1中没有说明用于基于时间信息来使前景图像和背景图像彼此相关联的处理。因此，如果前景图像和背景图像是在不同的时间点分别获得的，则可能无法使用基于相同时间点的摄像的前景图像和背景图像进行用于估计3D形状的处理。

引文列表

专利文献

专利文献1：日本特开2013-25458

发明内容

根据本发明的实施例，用于系统的信息处理设备基于通过使用多个照相机从多个方向进行摄像所获得的图像数据来生成虚拟视点图像。所述信息处理设备包括：获得单元，其被配置为获得前景图像和背景图像，所述前景图像是基于用于生成虚拟视点图像的拍摄图像中的包括预定对象的对象区域，以及所述背景图像是基于所述拍摄图像中的与所述对象区域不同的区域，其中所获得的前景图像和所获得的背景图像具有不同的帧频；以及输出单元，其被配置为输出所述获得单元所获得的并且彼此相关联的前景图像和背景图像。

通过以下参考附图对典型实施例的说明，本发明的更多特征将变得明显。

附图说明

图1是示出图像处理系统的结构的图。

图2是示出照相机适配器的功能结构的框图。

图3是示出图像处理器的结构的框图。

图4是示出前端服务器的功能结构的框图。

图5是示出前端服务器中所包括的数据输入控制器的结构的框图。

图6是示出数据库的功能结构的框图。

图7是示出后端服务器的功能结构的框图。

图8是示出虚拟照相机操作UI的功能结构的框图。

图9是示出最终用户终端的连接结构的图。

图10是示出最终用户终端的功能结构的框图

图11是整个工作流程的流程图。