[发明专利]图象处理方法、图象处理装置及数据存储媒体

说明书

本发明涉及图象处理方法、图象处理装置及数据存储媒体，特别是涉及对由相当于多个对象(即构成一个图象的多个构成要素)的序列的对象图象数据组成的视频信号进行编码的编码处理中的发生比特数的控制。

为了高效存储或者传输数字图象信息，必须对数字图象信息进行压缩编码，在现状下，作为用于对数字图象信息进行压缩编码的方法，除了以JPEG(Joint Photographic Coding Experts Group)和MPEG(Moving PictureExperts Group)所代表的离散余弦变换(DCT：Discrete Cosing Transform)之外，还具有子带、小波编码、分形(フラクタル)等波形编码方法。

作为去除相邻的帧等画面间的冗余的图象信息的方法，具有这样的方法：进行使用运动补偿的画面间预测，即，使用构成现画面的象素的象素值与构成前画面的象素的象素值的差分值来表示构成现画面的象素的象素值，对由该差分值组成的差分图象信号进行波形编码。

因此，最近，考虑这样的编码方法：对每个对象分别对与该对象相对应的对象图象数据进行压缩编码并传输，以便于能够在提高视频信号的压缩效率的同时，以构成预定图象的各个对象(构成要素)为单位进行视频信号的重放。对于由该编码方式所编码的视频信号，在重放侧进行与上述编码方式相对应的解码处理。即，在该解码处理中，对与各个对象相对应的对象编码数据进行解码，来合成与通过该解码所得到的各对象相对应的对象解码数据，而生成重放数据。接着，根据该重放数据来显示由各个对象组成的图象。

如上述那样，通过使用以对象单位进行视频信号的编码的编码方式，能够在重放侧自由组合各个对象来生成合成图象，由此，能够简单地对运动图象进行再次编辑。而且，通过通信路线的混合情况和重放装置的性能或者收视者的爱好，能够不必重放不太重要的对象，而显示仅由重要度高的对象组成的运动图象。

把这样以对象单位进行视频信号的编码的编码方式称为对象编码方式，作为MPEG4，国际上推进了标准化工作。

如上述那样，通过编码处理来压缩视频信号而得到的编码数据，每隔一定时间，将要被解码处理的代码量(被处理比特数)会变动。因此，把这样的编码数据以一定比特率传输到接收侧，为了在接收侧良好地重放该编码数据，就需要在接收侧设置存储编码数据的缓冲器，来适宜每隔一定时间的被处理比特数的变动。在此情况下，上述缓冲器的尺寸，即能够存储在缓冲器中的数据的最大量是不同的，能够由缓冲器吸收上述被处理比特数的变动的范围不同。

按照标准规格决定上述缓冲器尺寸的最大值，在具有该最大尺寸的缓冲器的接收器中，以一定的比特率接收每一定时间的被处理比特数发生变动的编码数据，能够没有问题地重放该编码数据。

此时，在编码侧，根据与接收侧具有的缓冲器相对应的尺寸等的功能的限制，把发送速率控制为一定的比特率，以使缓冲器不会溢出(不会上溢)或者不会成为空的(不会下溢)。

在对象编码方式中，一个视频信号由与多个构成要素相对应的对象图象数据所构成。作为这些构成要素，是矩形形状的图象和具有任意形状的图象(对象)等，例如，在矩形形状的图象中，把其作为背景，能够把作为任意形状图象的动画字符、人物、动物像进行组合。

而且，在现有的图象传输系统中，接收侧的图象解码装置为与各个构成要素相对应而设有每隔上述那样的单位时间适应将要处理的比特数的变动的缓冲器的构成。

即，在接收侧，通过与该构成要素相对应的缓冲器和解码器来对与一个构成要素相对应的对象编码数据进行解码。而且，在发送侧，在视频信号的编码处理过程中，进行速率控制以使与各构成要素相对应的缓冲器不会上溢或者下溢，即，进行作为编码数据而发生的代码量的控制。换句话说，上述编码处理时的速率控制在构成要素间独立进行。

图13是表示构成现有的图象传输系统的编码装置和解码装置的方框图。其中，为了便于说明，对处理三个构成要素的情况进行说明，但构成要素的数量并不仅限于此。

该图象传输系统1000具有：编码装置1000a，接受与第一、第二、第三对象(构成要素)相对应的图象数据(对象图象数据)1304、1314、1324，对这些数据进行压缩编码处理和复用处理，输出复用比特流1308；解码装置1000b，接受复用比特流1308，对与上述各对象相对应的压缩数据(对象编码数据)进行扩展解码处理和合成处理，生成与由各对象组成的图象相对应的重放数据。