[发明专利]图像译码合成方法及图像译码合成装置

说明书

本发明涉及实现用户的对话式操作的图像译码合成方法，以及图像合成信息编码方法。

目前在自然图像的编码中，利用了MPEG1、MPEG2等的图像压缩方式。进而，作为新的编码方式还有将运动图像分割成图像内的物体(目标)，对图像内的每一个目标、背景编码影像的目标编码方式。

图7是目标图像的合成的概念图。701是背景图像，702-705是图像中的目标的图像，706和707是合成图像。在目标中有具有如背景图像701那样的矩形形状的目标图像和具有如目标702-705那样的矩形以外的任意形状的任意形状目标。任意形状目标由表示颜色信号的纹理(texture)图像和表示形状的形状图像构成。设图像704、705的目标，位于图像702、703之前。

首先，将距背景最近的目标形状图像703与背景图像701及其纹理图像702合成，形成合成图像为706。接着，将位于上述目标前面的目标使用其形状图像705纹理图像704与合成图像706合成，形成合成图像为707。通过以上的操作生成合成图像。进而，在形状图像中，有只表示目标内外的2值图像，和可以用多值表示背景和目标的像素值的合成的比例，进行过半透明合成的图像。在目标编码方式中，可以对每个目标分别编码矩形形状目标图像(701)、任意形状目标图像(702,703)、任意形状目标图像(704,705)。在MPEG-4的图像编码方式中，还可以进行具有这种的矩形以外的任意形状的目标图像的编码。

另一方面，在计算机图形数据中，也可以进行编码方式的标准化。作为标准的编码方式，有虚拟现实建模语言(Virtual RealityModeling Language)。可以编码顶点、线、面的信息和其材质(颜色，光的反射系数等)等，在译码装置中可以译码虚拟现实建模语言的编码信号再构筑计算机图形的场景(Scene)。

最近，组合了上述目标编码方式和计算机图形数据的编码方式的编码方式也引起注目。如果在目标图像的合成中扩展计算机图形数据的编码方式，就可以进行目标编码方式的目标图像的变更、合成位置的变更，以及和计算机图形的合成。

在MPEG-4中，还可以实现组合了上述目标编码方式和计算机图形数据的编码方式的编码方式。通过在目标图像的合成中扩展计算机图形数据的编码方式，就可以实现将目标编码方式的目标图像与计算机图形图像合成。据此与以往方式相比可以实现更具表现力的图形。

图8是组合了目标编码方式和计算机图形数据的编码方式的图像译码合成装置的一例。进而，以下，将如上述扩展后的计算机图形数据编码格式那样记述目标图像的合成信息的编码信号称为合成信息编码信号。

801是合成信息编码信号，802是解析合成信息编码信号801后作为合成信息输出的合成信息编码信号译码装置，803是存储作为合成信息编码信号译码装置802的输出的合成信息的合成信息存储器，804是任意形状目标图像的编码信号，805是译码编码信号804的任意形状目标译码装置，806是存储任意形状目标译码装置805译码后的形状图像信号的形状存储器。807是存储任意形状目标译码装置805译码后的纹理图像信号的纹理存储器，808是矩形形状目标图像的编码信号，809是译码编码信号808的矩形形状目标译码装置，810是存储矩形形状译码装置809译码后的图像信号的图像存储器，811是根据存储在合成信息存储器803中的合成信息，合成存储在形状存储器806中的形状信号、存储在纹理存储器807中的纹理信号、存储在图像存储器810中的图像信号的合成装置，812是合成装置811输出的合成图象信号。