[发明专利]三维图像插补装置、三维摄像装置以及三维图像插补方法

说明书

技术领域

本发明涉及对三维运动图像进行帧插补的三维图像插补装置，三维摄像装置以及三维图像插补方法。

背景技术

近几年，使用CCD图像传感器（Charge Coupled Device Image Sensor：电荷藕合器件图像传感器）或者CMOS图像传感器（Complementary Metal Oxide Semiconductor Image Sensor：互补金属氧化物半导体图像传感器）等的固体摄像元件（下面有时简单称为“摄像元件”）的数字图片相机或者数字摄像机的高功能化以及高性能化令人震惊。尤其是随着半导体制造技术的进步，固体摄像元件的像素构造的细微化得到发展。

其结果，固体摄像元件的像素以及驱动电路不断向着高集成化发展。因此，仅用几年的时间，摄像元件的像素数从100万像素左右大大增加到1000万像素以上。加之，通过摄像获得的图像的质量也有了飞跃性的提高。

另一方面，通过液晶显示器或者等离子显示器等的薄型显示装置，实现了不占地方、能够以高分辨率且高对比度来显示图像。这样的图像高品质化的趋势，从二维图像扩大到三维图像。最近已经开始对采用偏振光眼镜或者具有高速快门的眼镜，显示高画质的三维图像的三维显示装置进行了开发。

用于获得在三维显示装置上显示的高画质的三维图像或者三维影像的三维摄像装置的开发也有了发展。作为获得三维图像并在三维显示装置上显示的单纯的方法，可以考虑以具备了位置不同的2个光学系（透镜和摄像元件）的摄像装置来拍摄图像或者影像的方法。使用各光学系被拍摄的图像作为左眼用图像以及右眼用图像被输入到三维显示装置。通过三维显示装置将拍摄的左眼用图像和右眼用图像高速地切换来显示，戴眼镜的用户能够立体地感觉图像。

另外，还有这样的方法，利用多台相机构成的摄像系算出场景的深度信息，根据深度信息和纹理(texture)信息生成左眼用图像以及右眼用图像。此外，还有这样的方法，改变光照方法等场景的几何条件或者光学条件或者摄像装置的光学系的条件（光圈的大小等），根据1台相机拍摄的多张图像算出深度信息，从而生成左眼用图像以及右眼用图像。

作为有关前者的方法有：同时利用从多个相机获得的图像求出各像素的深度的非专利文献1中记载的多基线立体(Multi-baseline Stereo)法。该多基线立体法与一般的双目立体相比能够以高精度来推定场景的深度。

作为一例说明相机的台数是2台（双目立体）时的左眼用图像以及右眼用图像(视差图像)的生成方法。在双目立体中利用2台相机从互相不同的视点拍摄2张图像，从被拍摄的各图像提取特征点，通过求出特征点间的对应关系来确定对应点。这样被确定的对应点间的距离被称为视差。例如，以2台相机拍摄的2张图像中，对应的特征点的坐标(x,y)分别为(5，10)，（10，10）时，视差成为5。在这里设相机被平行地配置，视差设为d，2台相机的焦点距离设为f，相机间的距离（基线长：baseline）设为B时，根据(公式1)能够求出从相机到被摄体的距离。

(公式1)

Z=-Bfd]]>(式1)

在2台相机间的距离长时，在一个相机观测的特征点不能在另一个相机观测。即使是那样的情况下，多基线立体法利用3台以上的相机，从而能够减少对应点搜索的含糊性，所以减少视差推定的误差。

在求出深度时，例如像非专利文献2所述的方法一样，利用深度的信息和场景的纹理，能够生成左眼用图像以及右眼用图像。根据非专利文献2所述的方法，利用推定的深度和从摄像装置获得的场景的纹理，能够生成将虚拟相机位置（左眼用相机位置和右眼用相机位置）作为新的视点位置的图像。这样，能够获得与摄影时不同的视点位置的图像。

新的视点位置的图像能够通过(公式2)生成。在这里各记号与(公式1)相同。求深度的相机的X坐标设为xc，在新生成的视点位置上的相机的X坐标设为xl，xr。xl，xr分别是左眼用以及右眼用的相机（虚拟相机）的Ｘ坐标。将虚拟相机间的距离（基线长∶baseline）设为tx。

(公式2)