[发明专利]运动图像编码方法和装置以及摄像系统

说明书

技术领域

本发明涉及对运动图像信号进行编码而生成编码流的技术。

背景技术

近年来，MPEG-2以及MPEG-4、H.264(MPEG-4AVC)等运动图像的高效编码技术得到广泛研究，应用于计算机、通信、民用AV设备以及广播等多种领域中。特别是为了能以低廉的价格提供电影、数码照相机等民用照相机，以小型且省电的方式实现具有庞大处理量的运动图像编码技术是非常重要的。关于本技术的小型化、省电化的研究也在积极进行。另外，在例如通过互联网等通信线路传输编码流(运动图像的压缩数据)的网络照相机等传输类照相机设备中，需要对分辨率、帧频各不相同的多个运动图像信号进行编码并传输，在本技术的小型化和省电化的基础上，同时还非常需要高速化。

为了满足上述要求，现有技术中使用能对多个运动图像信号以时分方式进行编码的运动图像编码装置。该运动图像编码装置包含多个通道，将作为编码对象的多个运动图像信号分配给多个通道，以每个通道为单位对上述多个运动图像信号进行编码，并以每个通道为单位对通过编码得到的多个编码流进行控制。

在此，参考图11对现有的运动图像编码方法进行说明。在图11中，分辨率分别为“4VGA(1280×960)”、“VGA(640×480)”和“QVGA(320×240)”的三个运动图像信号被分别分配给三个通道(通道0、通道1和通道2)，以时分方式进行编码。

图像I0(0)，P1(0)，...，P3(0)是分辨率为“4VGA”的运动图像信号的图像；图像I0(1)，P1(1)，...，P3(1)是分辨率为“VGA”的运动图像信号的图像；图像I0(2)，P1(2)，...，P3(2)是分辨率为“QVGA”的运动图像信号的图像。

首先，对三个运动图像信号各自的第一个图像I0(0)、I0(1)和I0(2)在规定时间(此处为1/30s)内依次进行帧内预测编码(帧内编码)，生成编码图像D0(0)、D0(1)和D0(2)。然后，编码图像D0(0)、D0(1)和D0(2)分别作为通道0的编码流STR0、通道1的编码流STR1和通道2的编码流STR2输出。另外，根据编码图像D0(0)、D0(1)和D0(2)重建图像I0(0)、I0(1)和I0(2)，重建的图像I0(0)、I0(1)和I0(2)作为参考图像被存储在运动图像编码装置的参考存储器中。即，参考存储器中存储对应三个运动图像信号的三个参考图像。

接着，对三个运动图像信号各自的第二个图像P1(0)、P1(1)和P1(2)，利用分别与其对应的参考图像(图像I0(0)、I0(1)和I0(2))，以时分方式进行帧间预测编码(帧间编码)，生成编码图像D1(0)、D1(1)和D1(2)，并分别作为通道0的编码流STR0、通道1的编码流STR1和通道2的编码流STR2输出。另外，根据编码图像D1(0)、D1(1)、D1(2)和参考图像I0(0)、I0(1)、I0(2)重建图像P1(0)、P1(1)和P1(2)，存储于参考存储器的参考图像(图像I0(0)、I0(1)和I0(2))被重写为重建的图像P1(0)、P1(1)和P1(2)。

由此，三个运动图像信号以时分方式被编码，输出与三个运动图像信号对应的三个编码流。另外，每当图像被编码时都重写与该图像对应的参考图像，以便第二个以后的图像能够将前一图像作为参考图像进行帧间编码。

非专利文献1：ISO/IEC 14496-10《Coding of audiovisual objects-Part10：Advanced Video Coding》

但是，如上所述的运动图像编码装置在处理性能上受到限制。因此，为了执行超出运动图像编码装置最大处理性能(例如最大通道数(可处理的运动图像信号数)、最大处理速度(每单位时间内可编码的数据量)等)的编码，需要使用比该运动图像编码装置性能更高的运动图像编码装置，或者同时设置多个运动图像编码装置。另外，因为作为编码对象的运动图像信号数(通道数)越多，参考图像的数量就越多，所以需要增大用于存储参考图像的参考存储器的容量。这样，由于现有技术中需要增加最大通道数以便能对很多的运动图像信号进行编码，或者增加最大处理速度以便能对高分辨率和帧频的多个运动图像信号进行编码，而运动图像编码装置的多功能化和高性能化使得运动图像编码装置的功耗和电路规模增大，因此，很难实现运动图像编码装置的小型化和省电化。

发明内容