[发明专利]利用基本层的图像信号的编码/解码方法及装置

说明书

技术领域

本发明涉及图像信号的可伸缩(scalable)编码和解码，尤其涉及在利用动态补偿时间过滤(MCTF：Motion Compensated Temporal Filter)方式进行可伸缩编码时，追加使用图像信号基本层(baselayer)对图像进行编码，并且对基本层进行编码处理后的图像数据进行解码的方法和装置。

背景技术

将图像信号数字化的标准有许多种，MPEG是其中最具代表性的一种。由于该MPEG标准被采用为当前在DVD等记录媒体上收录电影内容等的标准，因而被广泛使用。并且，作为代表性标准的还有H.264，估计今后它将被使用为高品质TV电视信号的标准。

但是，TV电视信号需要使用宽频带，而现在普遍使用的手机和笔记本电脑以及今后将广泛使用的移动(mobile)电视(TV)和掌上电脑(PC)等是通过无线进行图像接收和发送的，针对这样的图像来分配用于传送TV信号的宽频带是不易进行的。因此，只能使此类移动性便携装置的图像压缩方式中所使用的标准当中图像信号的压缩效率进一步提高。

更详细地说，也就是上述移动性便携装置不得不使自身处理或表现(presentation)的能力多样化。因此，被压缩的图像也必须照样子进行多种预先准备，这就意味着针对同一个图像源(source)需要具有每秒传送帧数、解像度、每个像素的比特数等多种变数的组合值，这样一来，内容提供商就不得不承受更多的负担。

基于这种理由，内容提供商针对一个图像源准备了高速比特率的压缩图像数据，如果上述移动性装置提出申请，就在对原始图像进行解码之后，利用与提出申请装置的图像处理能力(capability)相适应的图像数据提供并执行适当的编码过程。但是，在这种方式当中需要以代码转换(transcoding)(解码+编码)过程作为基础，所以在提供移动性装置所申请的图像时就会发生一些时间迟延。并且，代码转换也由于目标编码的多样性而需要复杂的硬件设备和算法。

为了消除这种不利因素，开发了可伸缩的图像编解码器(SVC：Scalable VideoCodec)。这种方式能够在对图像信号进行编码的过程中编码出最高的画质，这样，即使只提供被生成图像序列的部分序列(从整个序列中间隔着选择出来的帧的序列)也能够显示出低画质的图像。

动态补偿时间过滤(MCTF：Motion Compensated Temporal Filter)方式是为了在上述可伸缩图像编解码器上使用而被提出的编码方式。但是，由于该MCTF方式象前面所讲述的那样极有可能被应用在带宽受到限制的移动通信当中，所以为了降低每秒被传送的比特数，需要有很高的压缩效率即高编码率(coding rate)。

但是，如上所述，虽然对利用可伸缩动态补偿时间过滤(MCTF)方式进行编码的图像序列来说，即使只接收并处理部分序列也能够显示出低画质的图像，但是当比特率(bitrate)变低时，就很容易出现画质格外低下的问题。

发明内容

本发明正是为解决上述问题而提出的，其目的在于提供一种在利用可伸缩方式对图像进行编码时，提供用于低传送率的利用基本层的图像信号的编码/解码方法及装置。

本发明的另一个目的是提供一种在利用可伸缩方式对图像信号进行编码时，利用基本层与图像序列之间的相互关系来生成预测图像的方法和装置。

本发明的另一个目的是提供一种为了使用其他基本层的图像序列而生成/记录必要的管理信息的方法和装置。

本发明还有一个目的是提供一种追加使用基本层的图像信号对编码后的数据流进行解码的方法和装置。

为了实现上述目的，一种利用基本层的图像信号的编码装置，是针对由帧序列构成的图像信号进行编码的装置，其特征在于包括以下几个组成部分：用可伸缩的方式对上述图像信号进行编码，然后输出第1层比特流的动态补偿时间过滤编码器；用图像信号基本层方式对上述图像信号进行编码，然后输出第2层比特流的基本层编码器。所述动态补偿时间过滤编码器由以下几个部分组成：针对上述帧序列内任意帧中所包含的图像块，在包括与上述任意帧在时间上前后相邻的帧以及上述第2层的比特流中所包含的辅助帧序列当中在时间上与上述任意帧处于前、后及同时段的辅助帧在内的帧的集合中，使用至少1个帧内的标准块来求出上述图像块中各个像素的差值的编码第1设备；以及如果被上述第1设备使用的标准块属于上述第1层比特流，就把上述求出的各个像素的差值加在上述标准块上的编码第2设备。