[发明专利]图像处理装置和图像处理方法

说明书

技术领域

本公开涉及一种图像处理装置和图像处理方法。

背景技术

在从服务器通过网络向客户端分发视频或音频的流系统中，例如，存在由于网络的通信状态的改变引起的数据传输速率的变化（抖动）。当数据传输速率低于设计中的值的通信状态持续时，存在发生帧丢失的可能性。即，帧丢失意味着由于数据传输的延迟正常状况下已显示的帧图像没有显示在客户端上。

为了防止发生帧丢失，例如，已经提出了在日本未审查专利申请公开第2011-119971号和日本未审查专利申请公开第2002-084339中公开的技术。在这些技术中，服务器的数据传输速率根据客户端中帧图像的数据的缓存器状态来改变。当客户端中正缓存的帧图像的数据减少时，可以通过降低数据的传输速率来防止帧丢失的发生，但是这导致了图像质量的下降。

发明内容

但是，对于其中服务器中实时生成的帧图像被顺序编码然后传输至客户端的流系统而言，难以采用例如通过使要传输的帧图像稀疏来降低数据的传递速率的方法，这是因为一系列帧图像不是预先提供的。另外，当实现实时性质重要时，要缓存在客户端中的帧图像变小。因此，如上所述根据缓存器状态来采取任何动作都是不容易的。

因此，根据本公开的一个实施例，在其中实时生成帧图像的流系统中提供了一种新的和改进的图像处理装置和图像处理方法，能够通过允许服务器侧预测在客户端中接收帧图像时的延迟来更流畅地输出帧图像。

根据本公开的一个实施例，提供了一种图像处理装置，包括：渲染器，被配置为实时生成帧图像；编码器，被配置为对帧图像进行编码以生成编码数据；发送器，被配置为将编码数据通过网络传输至客户端装置，该客户端装置被配置为对编码数据进行解码并且输出帧图像；以及控制器，被配置为预测在客户端装置中接收编码数据时产生的延迟的增大并且基于该预测来控制渲染器对帧图像的生成间隔。

根据本公开的一个实施例，提供了一种图像处理方法，包括：实时生成帧图像；对帧图像进行编码以生成编码数据；将编码数据通过网络传输至客户端装置，该客户端装置被配置为对编码数据进行解码并且输出帧图像；以及预测在客户端装置中接收编码数据时产生的延迟的增大并且基于该预测来控制帧图像的生成间隔。

其通过允许服务器侧预测在客户端中接收帧图像时的延迟以及通过基于该预测来控制帧图像的生成间隔，能够预先防止接收时的可能延迟以及在客户端中更流畅地输出帧图像。

根据本公开的实施例，在其中实时生成帧图像的流系统中，能够通过允许服务器侧预测在客户端中接收帧图像时的延迟来更流畅地输出帧图像。

附图说明

图1是示出了根据本公开的一个实施例的流系统的整体配置的示意图；

图2是示出了根据本公开的一个实施例的流系统中的信息流的示例的图；

图3是示出了根据本公开的一个实施例的流系统中的客户端和服务器的功能配置的示意图；

图4是示出了根据本公开的一个实施例的流处理单元的功能配置的示意图；

图5是用于说明本公开的第一实施例的图；

图6是用于说明本公开的第二实施例的图；以及

图7是用于说明信息处理设备的硬件配置的框图。

具体实施方式

下文中，将参照附图详细描述本公开的优选实施例。注意，在本说明书及附图中，基本上具有相同的功能和结构的结构元件用相同的参考标号表示，并且将省略这些结构元件的重复说明。

将按以下顺序给出描述。

1.流系统配置

1-1.整体配置

1-2.客户端和服务器配置

1-3.流处理单元配置

2.用于控制图像生成速率的配置

2-1.第一实施例

2-2.第二实施例

3.硬件配置

4.补充

（1.流系统配置）

将参照图1至4描述本公开的实施例所应用的流系统的配置。

（1-1.整体配置）

图1是示出了根据本公开的实施例的流系统的整体配置的示意图。参照图1，流系统10包括客户端100和被配置为向客户端100分发流内容的服务器（服务商210、节点220和边缘230）。客户端100和各个服务器通过各种类型的有线或无线网络彼此连接。