[发明专利]影像生成装置、影像拍摄装置、影像拍摄系统、影像生成方法、控制程序以及记录介质

说明书

本发明提供一种在拍摄被拍摄体并生成该被拍摄体的三维影像的装置中，即使在拍摄刚开始后，也能生成没有缺损区域的三维影像的技术。影像生成装置(1)具备：深度信息获取部(5)，获取表示显示对象的三维形状的深度信息；以及三维影像生成部(7)，参考所述深度信息，以及在生成所述三维影像的处理开始前预先准备的、整体性地表示所述显示对象的三维形状的初始参考模型，来生成所述三维影像。

技术领域

本发明涉及一种生成表示显示对象的三维形状的三维影像的影像生成装置。

背景技术

作为现有技术，已知一种被称作Dynamic Fusion(动态融合)的技术。DynamicFusion的目的主要在于构筑根据拍摄深度实时地去除噪声的3D模型。在Dynamic Fusion中，将从传感器所获取的深度在补偿了3D形状的变形的基础上整合为共同的参考模型。由此，能根据低分辨率以及高噪声的深度生成精密的3D模型。

更详细而言，在Dynamic Fusion中，进行以下的(1)～(3)的工序。

(1)基于输入深度(current depth)和基准3D模型(canonical model)来估计摄像机位置以及运动流，构筑3D模型(current model)。

(2)将3D模型与视点相匹配地进行渲染(rendering)，将更新后的深度作为再现深度输出。

(3)将在(1)中构筑的3D模型在补偿了3D模型的摄像机位置以及3D模型的变形的基础上整合为基准3D模型。

作为生成三维影像的技术的其他的示例，在专利文献1中公开了一种虚拟视点影像装置。该虚拟视点影像装置生成从虚拟视点观察到的对象物的深度映射图，基于该深度映射图，按每个构成从虚拟视点拍摄对象物时的影像的像素，生成表示能否从多个视点观测对象物的判定图像，基于该判定图像来修正深度映射图。

此外，作为生成三维影像的技术的另一个示例，在专利文献2中公开了一种对象三维模型复原装置。该对象三维模型复原装置基于一台RGB摄像机所拍摄的图像和一台深度摄像机所拍摄的图像来合成自由视点影像。

现有技术文献

专利文献

专利文献1：日本公开专利公报“日本特开2015-45920号公报(2015年3月12日公开)”

专利文献2：日本公开专利公报“日本特开2016-71645号公报(2016年5月9日公开)”

发明内容

发明要解决的问题

使用上述的Dynamic Fusion，基于各时刻的深度信息来合成参考模型和实时模型(live model)，由此能生成动态的三维影像。但是，在存在不包括于作为基础的深度信息中的被拍摄体的区域的情况下，则对应的参考模型的区域没有被填充，因此三维影像成为在此区域开有孔的影像(例如，相对于获取深度的拍摄装置成为相反的面，或成为谷部的部位等。需要说明的是，以下，将像这样在三维影像中缺损一部分影像的区域称为“缺损区域”)。此外，在Dynamic Fusion中，使用各时刻的深度信息逐渐形成参考模型，因此在拍摄刚开始后的三维影像成为缺损区域多的影像。

本发明是鉴于上述的问题点而完成的发明，其目的在于提供一种在拍摄被拍摄体并生成该被拍摄体的三维影像的装置中，即使在拍摄刚开始后，也能生成没有缺损区域的三维影像的技术。

技术方案

为了解决上述的问题，本发明的一个方案的影像生成装置生成显示对象的三维影像，该影像生成装置具备：深度信息获取部，获取表示所述显示对象的三维形状的深度信息；以及三维影像生成部，参考所述深度信息，以及在生成所述三维影像的处理开始前预先准备的、整体性地表示所述显示对象的三维形状的初始参考模型，来生成所述三维影像。