[发明专利]发送和接收动态图像数据的方法及其设备

说明书

技术领域

本发明涉及一种音频-视频发送机和音频-视频接收机、数据处理设备和方法、波形数据发送方法和设备和波形数据接收方法和设备以及视频发送方法和设备和视频接收方法和设备。

背景技术

已有一种设备，它满足了感觉到你面前出现的对方图像实际存在的要求，其目的在于进行现实图像通信，这是通过从例如有你本人的风景图像中提取出某人的图像，然后，将此人的图像(即对方发送来的某人的图像)和要与预先存储的对方图像一起显示的虚拟空间图像相互叠加，并加以显示来实现的(日本专利申请No.4-24914)。

具体地说，在已有技术的情况下，已有了涉及加速图像合成和减小存储器的方法的一些发明(例如日本专利公开No.5-46592的官方公报：图像合成器)。

虽然已有技术已提出了利用图像合成对两维静止图像或三维CG数据进行合成的通信系统，但从下面的观点来看，同时合成多幅图像和多路声音并进行显示的系统，其实现方法还没有进行具体讨论。

即，从下面列举的方法来看，存在没有具体讨论的问题。

(A1)一种方法，它利用在一条或多条实际传输线路上由软件构成的多条逻辑传输线路独立地传输数据和控制信息(由与控制终端侧处理数据不同的数据包传输的信息)的环境下传输(通信和广播)并控制图像和声音。

(A2)一种方法，它动态地改变要加到待发送的图像或声音数据中的首部信息(对应于本发明的控制信息)；

(A3)一种方法，它动态地改变要加入的首部信息(对应于本发明的传输控制信息)。以便进行传输；

(A4)一种方法，它通过动态动复接和分离多条逻辑传输线路来传输信息；

(A5)一种方法，它考虑了节目或数据的读取和增长周期，以传输图像和声音；

(A6)一种考虑了快速切换传输图像和声音的方法。

然而，就动态调整要传输到网络的数据量而言，已提出了改变编码系统的方法和根据图像帧的类型讨论帧数据的方法(H.Jinzenji和T.Tajiri撰写的分配自适应型VOD系统的研究，D-8，刊登于电子、信息和通信工程学会(IEICE)系统社的D-8(1995))。

能在受限制的处理时间下提供高质量图像的动态通过量换算算法已作为一种调整编码器侧的通过量提出(T.Osako、Yajima、H.Kodera、H.Watanabe、K.shimamura等撰写的利用动态通过量换算算法对软件视频进行编码，刊登于IEICE的论文期刊D-2,Vol.80-D-2，第二期，第444-458页，1997)。

而且，存在MPEG1/MPEG2系统作为实现同步再现图像和声音的例子。

(B1)对应于图像帧的类型讨论图像的传统方法有这样一个问题，即通过处理多个视频数据流或多个音频数据流，难以与声音同步地重点再现重要的场面，反映编辑的意图，这是由于可以处理的信息的等级位于单一信息流中。

(B2)而且，由于其必要条件是用硬件来实现MPEG1/MPEG2，所以解码器必须可以对每个提供的位流进行解码。因此，其问题就是如何适应超出解码器通过出量的情况。

此外，为了传输图像，已有一些系统，例如H.261(ITU-T建议H.261的px.64声像业务视频编码解码器)，并且它们是用硬件组装的。因此，由于在设计硬件时考虑了必要性能的上限，所以没有产生不能在指定时间内完成解码的情况。

上面的指定时间表示发送编码一张图像获得的位流所需要的时间。如果解码不能在该时间内完成，其额外的时间就成为延迟。如果把这种延迟累积，则发送侧到接收侧的的延迟就增加，系统就不能用作可视电话。这种状态必须避免。

而且，当由于通信对方产生了规定以外的位流而不能在指定时间内完成解码时，则就产生不能传输图像的问题。

上述问题不仅产生在视频数据中，而且也产生在音频数据中。

然而，近年来，由于个人计算机(PC)所形成网络环境的布局带来互联网和ISDN的扩展，所以传输速率已得到改善，已经可以利用PC和网络传输图像。而且，用户传输图像的要求也已高速增长。又由于CPU性能已得到改善，所以完全可以用软件来对视频信号的解码。

然而，由于结构上不同的个人计算机，例如CPU、总线宽度或加速器等方面不同的个人计算机可以执行相同的软件，所以预先考虑必要性能的上限是困难的，因此，产生了图像不能在指定时间内解码的问题。

而且，当发送长度超过接收机通过量的视频编码数据，就不能在指定时间内完成编码。

问题(C1)：减小在指定时间内解码图像的延迟。