[发明专利]信息处理设备和方法

说明书

技术领域

本发明涉及根据多视点图像生成虚拟视点图像。

背景技术

用于获得与拍摄位置不同的视点的图像(虚拟视点图像)的已知方法包括用于在移动光轴的情况下拍摄图像的倾斜偏移拍摄、以及用于通过生成距离映射并且根据距离映射合成不同视点的多个图像(多视点图像)来获得自由视点图像的方法。用于获得多视点图像的已知方法包括如专利文献1那样、以包括被摄体的区域可以彼此重叠的方式多次拍摄被摄体并且合成所拍摄的图像的方法，以及如专利文献2那样利用照相机阵列的方法。对手持拍摄等而言，后者较好。

用于利用照相机阵列获得多视点图像的拍摄系统包括如专利文献2那样从所有方向拍摄被摄体的系统，以及如ViewPLUS公司所制造的ProFUSION25那样、利用在平面内配置的多个照相机来拍摄图像的系统。为了获得与拍摄位置不同的视点的图像，获取包括被摄体的拍摄区域的距离映射是非常重要的。形成照相机阵列的照相机的配置显著影响距离映射的精度。提出了如专利文献3那样的在光轴的前后配置照相机的方法。例如，用于根据多视点图像生成距离映射的已知方法包括如非专利文献1所述的平面扫描方法。

引用列表

专利文献

专利文献1：日本特开2000-307947

专利文献2：日本特开2006-352539

专利文献3：日本专利3561446

发明内容

发明要解决的问题

传统上，以诸如格子状、放射状或半球状等的规则图案来配置形成照相机阵列的照相机。如果以规则图案配置照相机，则发生以下的问题：不能正确地获取具有某种程度的大小的单一颜色的被摄体的距离信息。

例如，如图5(a)所示，假定将作为单一颜色被摄体的单一颜色棒X(例如，扶手)与多个照相机的配置平行配置。例如，由照相机A、B和C所拍摄的图像如图5(b)所示。在图5(b)中，黑线部分与在各图像中单一颜色被摄体X的图像部分相对应。在图5(b)中，a、b和c表示与如图5(a)所示的实际空间位置(虚拟被摄体位置)a、b和c相对应的图像上的位置。

如图5(a)和5(b)所示，由于被摄体X具有单一颜色，因而在各照相机的图像中与位置a、b和c相对应的像素值相同。因此，不能根据各照相机的图像来指定与单一颜色被摄体X所位于的位置b相对应的像素。因而，被摄体X的位置b(被摄体位置)不能缩窄至一个点。

如图5(c)所示，当具有大致均一的特征值的被摄体位于包括穿过两个照相机的直线的平面内时，在多个虚拟被摄体位置处，特征值大致一致。因而，在原理上，仅利用两个照相机不能指定被摄体位置。因此，需要再添加照相机来缩窄虚拟被摄体位置。然而，如上所述，如果在穿过两个照相机的直线上添加其它照相机，则不能指定被摄体位置。因而，在这样的位置处添加照相机是无效的。由于对配置在照相机阵列中的照相机数量的物理限制，因而，尽可能多地减少对信息量的增加没有贡献的照相机的数量，这对于生成正确的三维估计结果并且由此生成高质量的虚拟视点图像具有很大贡献。

本发明是为了解决上述问题而作出的，并且本发明的目的是通过使摄像单元的位置最优化而获得期望的虚拟视点图像或距离映射。

用于解决问题的方案

根据本发明的权利要求1，提供一种信息处理设备，用于根据利用配置在不同位置处的多个摄像单元所拍摄的图像，生成与配置所述照相机的位置不同的虚拟视点的虚拟视点图像，所述信息处理设备包括：虚拟视点设置部件，用于设置虚拟视点；确定部件，用于根据由配置在不同位置处的所述多个摄像单元拍摄的多个图像的图像数据，确定在所述虚拟视点的虚拟图像中不能确定被摄体距离的未确定区域；校正量设置部件，用于根据所述未确定区域来设置所述多个摄像单元中的至少一个摄像单元的位置的校正量；以及生成部件，用于根据由配置在根据所述校正量校正后的位置处的所述多个摄像单元拍摄的多个图像的图像数据，生成所述虚拟视点的虚拟图像。