[发明专利]图像处理装置和图像处理方法

权利要求书

1.一种图像处理装置，包括：

渲染器，被配置为实时生成帧图像；

编码器，被配置为对所述帧图像进行编码以生成编码数据；

发送器，被配置为将所述编码数据通过网络传输至客户端装置，所述客户端装置被配置为对所述编码数据进行解码并且输出所述帧图像；以及

控制器，被配置为预测在所述客户端装置中接收所述编码数据时产生的延迟的增大并且基于该预测来控制所述渲染器对所述帧图像的生成间隔。

2.根据权利要求1所述的图像处理装置，其中，所述控制器基于所述发送器中所述编码数据的传输定时的延迟量来预测接收所述编码数据时产生的延迟的增大。

3.根据权利要求2所述的图像处理装置，其中，所述控制器基于所述传输定时的间隔和预定值之间的差计算所述传输定时的延迟量。

4.根据权利要求2所述的图像处理装置，其中，所述控制器基于当所述渲染器开始生成所述帧图像时的定时到所述传输定时的时间与预定值之间的差来计算所述传输定时的延迟量。

5.根据权利要求2所述的图像处理装置，其中，在所述生成间隔的控制之后当所述渲染器和所述编码器的处理量等于或小于预定值时，所述控制器将所述生成间隔的控制返回至初始条件。

6.根据权利要求1所述的图像处理装置，其中，所述控制器基于所述客户端装置中所述帧图像的输出状态来预测接收所述编码数据时产生的延迟的增大，所述输出状态从所述客户端装置报告。

7.根据权利要求6所述的图像处理装置，其中，在所述客户端装置中的一个或多个所述帧图像产生丢失时，所述控制器预测在接收所述编码数据时存在需要控制所述生成间隔的程度的延迟的增大。

8.根据权利要求7所述的图像处理装置，其中，在丢失图像与所述帧图像的比率超过预定值时，所述控制器预测在接收所述编码数据时存在需要控制所述生成间隔的程度的延迟的增大。

9.根据权利要求6所述的图像处理装置，其中，所述控制器基于所述帧图像的输出定时的延迟量来预测接收所述编码数据时产生的延迟的增大。

10.根据权利要求9所述的图像处理装置，其中，所述控制器基于所述输出定时的间隔与预定值之间的差来计算所述输出定时的延迟量。

11.根据权利要求9所述的图像处理装置，其中，所述控制器基于当所述渲染器开始生成所述帧图像时的定时到所述输出定时的时间与预定值之间的差来计算所述输出定时的延迟量。

12.根据权利要求9所述的图像处理装置，其中，所述控制器基于从所述发送器中所述编码数据的传输定时到所述输出定时的时间与预定值之间的差来计算所述输出定时的延迟量。

13.根据权利要求1所述的图像处理装置，其中，所述控制器基于所述预测来控制所述渲染器以延长所述生成间隔。

14.根据权利要求13所述的图像处理装置，其中，所述控制器控制所述渲染器以向所述编码器提供紧邻在所述帧图像之前生成的帧图像，来代替由于所述生成间隔的延长没有生成的帧图像。

15.根据权利要求13所述的图像处理装置，其中，所述控制器控制所述编码器以向所述发送器提供紧邻在所述帧图像之前生成的帧图像的编码数据，来代替由于所述生成间隔的延长没有生成的帧图像的编码数据。

16.根据权利要求13所述的图像处理装置，其中，所述控制器控制所述发送器以根据所述生成间隔的延长来延长所述编码数据的传输间隔。

17.根据权利要求13所述的图像处理装置，其中，所述控制器控制所述渲染器以通过跳过一个或多个所述帧图像的生成或改变所述帧图像的生成速率来延长所述生成间隔。

18.根据权利要求13所述的图像处理装置，其中，所述控制器控制所述渲染器以在预定时间段或预定数量的帧上延长所述生成间隔。

19.根据权利要求1所述的图像处理装置，还包括：

接收器，被配置为通过所述网络接收在所述客户端装置中获得的操作输入，

其中，所述渲染器根据所述操作输入实时生成所述帧图像。

20.一种图像处理方法，包括：

实时生成帧图像；

对所述帧图像进行编码以生成编码数据；

将所述编码数据通过网络传输至客户端装置，所述客户端装置被配置为对所述编码数据进行解码并且输出所述帧图像；以及

预测在所述客户端装置中接收所述编码数据时产生的延迟的增大并且基于该预测来控制所述帧图像的生成间隔。