[发明专利]编码装置、编码方法与编码程序以及摄像装置

说明书

技术领域

本发明涉及可以应用于图像信号的压缩等用的编码装置、编码方法及编码程序以及摄像装置。

背景技术

在数码相机等摄像装置中，经常进行图像畸变的修正处理、色差的修正处理、图像尺寸的放大或缩小的处理等图像处理。另外，在图像处理中发生的图像数据通常通过JPEG(图像联合专家组)、MPEG(动画专家组)等压缩编码进行压缩。在这样的压缩编码中，以称为宏块的图像为单位进行编码。

为了进行图像处理，从存储器读出图像数据，进行内插等处理。进行编码时，图像尺寸变更后的区域尺寸，设定为宏块的大小。这样，由于在图像尺寸的变换处理中将图像尺寸设定为宏块这样的小单位，因此产生了需要高速读出图像数据的问题。

另外，在图像处理中，不仅作为处理对象的区域的图像数据，而且为了进行滤波等，往往还需要与该区域相邻的区域的图像数据。在这种情况下，以尽可能大的块尺寸作为单位进行图像处理，与以小的块尺寸为单位(进行图像处理)相比，可以提高效率。现参照图1A、图1B及图1C说明这一点。

图1A是以斜线所表示的(8像素×8像素)为单位进行图像处理的示例。若假定纵横分别需要处理2个像素区域，则处理像素数为64像素，有效处理象素数变为(4像素×4像素＝16像素)，效率为(有效处理像素数/处理像素数＝25％)。图1B表示块尺寸设置为(128像素×128像素＝16384像素)的情况。在这种情况下，处理像素数为16384，而有效处理像素数为(124像素×124像素＝15376像素)，效率变为93％。此外，图1C表示例如横(向)长的块，例如(2048像素×8像素＝16384像素)的示例。在这种情况下，有效处理像素数变为(2044像素×4像素＝8176像素)，效率变为49％。另外，图1A，1B和1C表示用(3×3＝9)个处理单位构造一个图像的示例。

图2表示例如按JPEG对图像处理后的数据进行编码的一个示例。在模式上，在图2中，由(4×2)个宏块构成一个图像。若图像处理以水平方向并排的4个宏块作为单位进行，则由于其顺序与JPEG规定的编码方向一致，所以在图像处理中得到的数据原样不变地传送到JPEG编码器进行编码。

在图2中，图像处理单位变为横长的区域，所以如图3所示，考虑以(2×2)的4个宏块1-4组成的区域为单位进行图像处理的情况。在这种情况下，处理后的宏块1和2原样不变地传送到编码器，进行JPEG编码。宏块3和4暂时保存在存储器中。在下一个处理单位(由宏块5-8组成)中，处理后的宏块5和6原样不变地传送到编码器，进行JPEG编码。宏块7和8暂时保存在存储器中。在编码器中，处理后的宏块1，2，5和6编码后，读出保存在存储器的处理后的数据宏块3，4，7和8，并将读出的数据传送到编码器。

这样，图像处理单位是整数个宏块，亦即，由编码块组成，编码块的排列顺序与编码规定的顺序不一致时，后来编码的数据需保存在存储器中。结果产生了需要临时保存用的存储器的问题。

作为可应用本发明的图像处理的一个示例，是图4所示的色差修正。从有色差的摄影图像P分离出红色图像Pr、绿色图像Pg和蓝色图像Pb。色差的起因是透镜的折射率因波长而异，在原色图像之间，即使同一个被拍摄物体，放大倍数变化，图像的大小便发生变化。对各原色图像进行图形分辨率变换，形成大小相同的原色图像Pr’，Pb’和Pg’，将这些原色图像合成，便得到色差修正后的图像P’。本发明适用于图像分辨率变换处理。

图5表示可应用本发明的另一种图像处理。对图像在纵横两个方向上都发生了桶形畸变的图像P1进行第一阶段放大，得到图像P2。第一阶段放大是横向放大，故使放大倍数离中心越远越大。对图像P2进行第二阶段放大，得到图像P3。第二阶段放大是对图像P2进行纵向放大。使放大倍数离中心越远越大。

本发明对宏块这样的编码块进行重排处理，但是在以前，在日本专利特开平11-298878号公告中记载了进行以宏块为单位的重排处理。在该文献中，生成MPEG流后，以宏块为单位进行重排，在接收侧即使原样不变地对MPEG流进行解码，结果也无法看到图像。

如上所述，进行图像尺寸变更这样的图像处理时，以压缩编码的编码单元分割图像数据进行编码时，产生了高速从存储器读出的必要性，产生需要大容量存储器的问题。在上述文献中记载的，一旦生成正常的MPEG流之后，便进行重排。对此，在本发明中，按照与正规顺序不同的图像处理部的输出顺序进行编码之后，重排为正规顺序，在这一点上不同于上述文献的记载。

发明内容