[发明专利]运动图像编码装置、摄像装置以及运动图像编码方法

说明书

技术领域

本发明涉及用于对运动图像进行压缩并编码的运动图像编码装置、包括该装置的摄像装置以及运动图像编码方法。

背景技术

近年来，在摄像机(ビデオム一ビ一)之外，数字静态照相机(デジタルスチルカメラ)和带照相机的手机广泛普及，逐渐能够简便地处理图像。与静止画面相比，数据量多的运动画面也因压缩技术的进步而变得易于处理，不仅是现有的摄像机，数字静态照相机和带照相机的手机也能够处理运动画面。运动画面的压缩通常使用利用了帧间相关性的帧间预测编码来提高压缩率，为此需要预先存储至少一帧的图像作为参考用图像(以下记为参考图像)。另外，为了高效地进行帧间预测编码，需要检测出图像的运动，与此相应进行运动补偿，即检测出图像的相关性最高的部分并进行编码，但这样会导致对参考图像的存取增加。在数字静态照相机和带照相机的手机这样小型的便携设备中，这种对参考图像的存取的增加逐渐成为严重的问题。

图9是作为包括运动图像编码装置的摄像装置的例子而准备的数字静态照相机的结构图。

在图9中，801为CCD等图像传感器，802为驱动图像传感器801的定时脉冲发生器(TG，Timing Generator)，803为对图像传感器801的输出信号进行模拟处理的模拟前端(AFE，Analog Front End)，804为将模拟信号转换为数字信号的AD转换器，805为照相机图像处理装置。照相机图像处理装置805由照相机信号处理部806、运动图像编码部807a、显示部808、存储卡控制部809、存储器控制器810以及CPU811构成。812为SDRAM等存储器，813为存储卡。此外，照相机图像处理装置805一般由一个半导体芯片(LSI)构成。

从图像传感器801输出的信号通过AFE803以及AD转换器804被转换为数字信号，该数字信号由照相机图像处理装置805的照相机信号处理部806转换为亮度信号和颜色信号，为了压缩数据量而由运动图像编码部807a进行编码。编码后的数据通过存储卡控制部809被保存到外部的存储卡813等中。另外，通过显示部808显示图像。照相机信号处理部806、运动图像编码部807a、显示部808等通过存储器控制器810将需要的数据存储在存储器812中来进行处理。CPU811对上述所有处理进行控制。

图10示出所述数字静态照相机的运动图像编码部807a所采用的现有例的运动图像编码装置的结构。

在图10中，来自于照相机信号处理部806的输入图像通过存储器控制器810被存储到存储器812的输入图像缓冲区域901中。通常，运动图像编码处理以称为宏块的矩形小区域为单位进行处理。输入图像被存储直到其数据完整。另外，在帧间预测编码中，有时会参考未来的帧来进行预测，此时为使输入图像的编码顺序与输入帧的时刻顺序不同，需要进行一帧以上的存储。

接着，在帧间预测编码部902中，通过获得具有时间相关性的参考图像的差分从而压缩数据量。此时，按照图像的运动检测出相关性最高的地方从而提高压缩效率。这称为运动补偿。因此，根据存储在存储器812中的参考图像，将规定的区域输入到参考图像缓冲器903，通过运动矢量搜索部904，使用参考图像缓冲器903内的图像和输入图像，来进行运动矢量搜索。运动矢量搜索使用公知的块匹配法等来进行。当通过运动矢量搜索部904确定出运动矢量后，据此在预测图像生成部905中生成预测图像。当运动矢量的精度为整数精度时，预测图像为参考图像的部分截取，当运动矢量的精度为小数精度时，通过规定的滤波处理来生成插值图像。接着，在差分图像生成部906中，生成预测图像与输入图像的差分图像。

接着，在帧内编码部907中，对差分图像进行帧内编码。在帧内编码中，首先在DCT(离散余弦变换，Discrete Cosine Transform)部908中，将图像数据转换为频率分量。这是因为转换为频率分量能够使图像成为易于压缩的形式。一般而言，图像的高频分量即使与原来的图像相比有所变化，人类也难以感知。因此，将图像转换为频率分量，在量化部909中进行量化来削减数据量。最后，在可变长编码部910中进行可变长编码。可变长编码是对出现频率高的数据分配短代码从而削减代码量的编码方式。一般使用哈夫曼(ハフマン)编码或算术编码。