[发明专利]延迟控制器、控制方法和通信系统

说明书

技术领域

本发明涉及延迟控制器、控制方法、及通信系统，尤其涉及能够使图像被高速切换的延迟控制器、控制方法、及通信系统。

背景技术

当前，对于经由诸如互联网和LAN(局域网)之类的各种网络来传输图像数据(尤其是运动图像数据)的应用和服务被普遍使用。当经由网络发送和接收图像数据时，通常在向网络发送数据之前在发送测应用编码(压缩)处理来减小数据量，并且通过在接收侧应用解码(解压缩)处理来再现编码后的接收数据。

例如，存在一种作为最常见的图像压缩方法的被称为MPEG(运动图像专家组)的压缩技术。当使用MPEG压缩技术时，由MPEG压缩技术生成的MPEG流被存储在与IP(互联网协议)兼容的IP数据包中，并且经由网络被递送。然后，MPEG流被使用诸如PC(个人计算机)、PDA(个人数字助理)、或者移动电话之类的通信终端接收，并且被显示在每个终端的屏幕上。

在这种情况下，对于主要目的在于图像数据的递送的应用，例如视频点播、实况视频递送、视频会议、以及视频电话，存在由于网络抖动导致并不是发送测的所有数据都到达接收侧的环境、以及图像数据被具有不同能力的终端接收的环境。必须考虑这些环境。

例如，从单个传输源发送的图像数据有可能被具有低清晰度的显示器和低吞吐量的CPU的诸如移动电话之类的接收终端接收并显示。同时，这种数据也有可能被具有高清晰度的监控器和高性能的CPU的诸如桌上型PC之类的接收终端接收并显示。

在考虑数据包接收条件根据如上所述的网络连接环境而改变的情况下，例如，被称为分层编码的一种技术可以使用，从而使得对被发送和接收的数据进行的编码被以分层方式执行。对于已经被分层编码后的图像数据，例如，打算发送给具有高清晰度显示器的接收终端的编码后的数据和打算发送给具有低清晰度显示器的接收终端的编码后的数据被分类并保持，并且图像大小和图像质量可以根据需要在接收侧被改变。

实现分层编码的压缩/解压缩机制包括例如基于MPEG4和JPEG2000的视频流。在MPEG4中，FGS(细粒度可扩展)技术被安排以被采用并描述为标准规范，并且据说这种分层编码技术可以使得数据的递送能够以从低到高的比特率的可扩展方式实现。另外，利用基于小波变换的JPEG2000，可以通过使用小波变换的特性基于空间分辨率生成数据包，或者可以基于图像质量以分层的方式生成数据包。另外，JEPG2000可以利用既可以处理静止图像又可以处理运动图像的运动JPEG2000(部分3)标准的文件格式存储分层数据。

另外，作为采用分层编码的数据通信的具体示例，提出了基于离散余弦变换(DCT)的数据通信。这种方法通过将DCT处理应用于例如将要传送的图像数据，通过DCT处理在高和低频之间进行区分实现分层，并且生成被划分为高频和低频层的数据包来执行数据通信。

在很多情况下，对于这种分层编码后的图像数据的递送要求实时性。但是当前，更高的优先级趋向于被给与大屏幕和高质量显示，而不是实时性。

为了确保图像数据的实时递送，UDP(用户数据报协议)一般被用作基于IP的通信协议。另外，RTP(实时传输协议)被用于UDP以上的层。数据被存储在RTP数据包中的格式遵循为每个应用，即每种编码机制定义的每种独立格式。

作为通信网络，诸如无线或有线LAN、光纤通信、xDSL、电力线通信、或者Co-ax之类的通信机制被使用。尽管这些通信机制逐年变得更快，但是通过这些机制传送的图像内容的图像质量也变得更高。

例如，作为当前主流的MPEG机制或JPEG2000机制中的一般系统的代码延迟(code delay)(编码延迟+解码延迟)为两个画面或更多。这导致很难说确保了图像数据递送的充分实时性。

相应地，在这些日子里开始提出这样的图像压缩机制，其中这些图像压缩机制通过将画面分割为N行的组(N等于或大于1)，并且每次通过被称为行块的每个分割组对图像进行编码(下文中称为基于行的编解码)来实现更短的延迟时间。除了低延迟以外，基于行的编解码的优点还包括实现高速处理以及减小的硬件规模的能力，因为每单位图像压缩将要处理的信息量比较小。