[发明专利]编码方法、电子相机、记录有编码程序的记录介质以及解码方法

说明书

本发明申请涉及在2006年12月26日提交的日本专利申请第2006-350717号中包含的主题，该主题在本发明申请全文中被引用。

技术领域

本发明涉及对由全光相机(Plenoptic camera)拍摄到的图像进行编码的编码方法、电子相机、记录有编码程序的记录介质以及对编码后的图像进行解码的解码方法。

背景技术

图20是表示通常的相机聚焦功能的图。通过聚焦透镜21和未图示的其他光学系统(例如变焦光学系统)聚光后的光被投射到配置于像平面21F的摄像元件27上。如箭头21B所示，聚焦透镜21相对于像平面21F的位置可以沿着光轴21H而改变。聚焦透镜21的位置例如在自动聚焦(AF)等控制时用于相机的固件(Firmware)等的处理。该聚焦透镜21的位置是通过离散性的数值进行管理的。图中21A表示这种“聚焦值”。

在此，当通常的相机的光学系统中包含变焦光学系统时、或者其属于较复杂的光学系统时，通过包含多个透镜在内的透镜组来构成聚焦透镜21。此时，聚焦值21A成为表示这种透镜组中可改变和控制的总体状态的值。

相机的透镜基本上在平面上对平面上的物体进行成像。在此，将通过配置成规定的聚焦值的聚焦透镜21而清晰地成像在像平面21F上的平面称作“最佳的物体平面”。当被拍摄体位于最佳的物体平面21D上时，在完全对焦的状态下成像在摄像元件27上。通过改变聚焦值21A，可以改变从像平面21F到最佳的物体平面21D的距离、即被拍摄体距离21E。聚焦值21A与被拍摄体距离21E成为一对一的对应关系。

实际上即使存在与模糊的允许范围对应的被拍摄场深度21G，物体平面21J从最佳的物体平面错开相当于被拍摄场深度21G的量，实质上也会在对焦的状态下投射在摄像元件27上。

图19A表示使用这种通常的相机进行拍摄的情况。首先通过自动聚焦或者手动聚焦的操作使焦点对准被拍摄体X。该动作与通过使聚焦透镜21在光轴21H的方向上移动从而将最佳的物体平面21D对准被拍摄体X的被拍摄体面的情况对应。图19A表示聚焦透镜21移动到某个聚焦值21A上，最佳的物体平面21D与被拍摄体X的被拍摄体面一致的状态。当在该状态下按下释放按钮时，来自被拍摄体X的光通过对焦状态下的聚焦透镜21而被投射到摄像元件27上。

与此相对，如图19B所示，在全光相机中，将来自被拍摄体X的光投射到微透镜阵列25上。即，在图19B的像平面21F上设置有微透镜阵列25，摄像元件27被配置在其后的面上。通过这种结构，被投射到微透镜阵列25上的来自被拍摄体X的各种光线K1、K2、K3被各个微透镜25A分离，投射到摄像元件27的一部分27A上。因而在通过该摄像元件的一部分27A成像的信息中包含光线方向的信息。另一方面，由于被拍摄体X的光投射到微透镜阵列25上，所以可以认为摄像元件27的成像结果包含有位置信息，该位置信息表示光线是来自被拍摄体的哪个位置的光。

这样，作为全光相机的摄像元件的成像结果的图像信息(光场(Lightfield)图像)包含有空间上的光线的信息(光线信息)。如上所述，全光相机可以对四维的光线信息进行采样。

在美国专利6097394中记载有对光线信息(光场图像信息)进行编码的方法。在该方法中，为了提高解码速度而采用了矢量量子化。并且，该方法不同于例如访问解码数据较为复杂的动态图像专家组(MPEG)方式等中采用的预测编码，而是参照码本(Codebook)内的索引并将其输出来对矢量编码数据进行解码。

在美国专利6097394的方法中，光线信息被矢量量子化，在进行矢量量子化时采用的码本和索引被LZ(Lempel-Ziv)编码而装入到位流(BitStream)内。为了提高图像质量，在最开始生成适当的码本之前，例如进行基于试误(Try and Error)的编码，生成训练(training)集合。

在此，由于基于试误的编码处理负荷较大，因而应用到便携型全光相机的实时拍摄中未必适当。因而期待出现一种适于装入便携型全光相机的更为适当的编码方法。

而且，在美国专利6097394中没有记载如何从与主要的光线信息一并被编码的图像中提取索引显示于便携设备或计算机上的缩略图像的内容。