[发明专利]图像发送方法、以及装置

说明书

技术领域

本发明涉及经由网络而将图像数据向其他的装置发送的图像发送方法、图像发送程序、以及图像发送装置。

背景技术

近年来，通过在服务器装置侧执行包含应用程序的几乎所有的处理，并经由网络向客户端装置侧发送桌面画面、执行结果，以使得在用户使用的客户端侧仅进行所需最小限度的处理的被称为精简型客户端系统的系统架构正在普及。

在精简型客户端系统中，经由网络实时地向客户端装置发送服务器装置执行的应用程序等的处理结果、桌面画面等的存放于帧缓冲区的图像数据。通过图像数据的实时发送，客户端装置能够立即显示在服务器装置生成的图像数据(帧缓冲区的数据)。

在精简型客户端系统中，服务器装置作为发送图像数据的图像发送装发挥作用，客户端装置作为接收图像数据的图像接收装置发挥作用，但是根据进行发送的网络的状态的不同，在向客户端装置的数据通信中产生延迟。

因此，提出有降低服务器-客户端间的通信延迟的影响的发送方法。作为一个1个现有方法，已知有如下方法，即，发送图像数据的发送装置向接收图像数据的接收装置发送寄送包，并从接收装置接收包含寄送包的发送时刻的受领响应的返送，根据由寄送包的发送时刻计算出的响应时间与规定的阈值之间的关系，来增减图像数据的发送时的包个数，由此能够避免发送延迟。

此外，作为其他的现有方法，已知有如下方法，即，发送图像数据的发送侧装置以将网络上的予想的包丢失率作为基础而设定的编码率对发送对象的图像数据进行冗余编码，并经由网络而向接收侧装置发送，在接收侧装置中，使用接收到的被冗余编码的编码数据来对原来的图像数据进行解码处理，由此能够不等待响应而发送图像数据。

专利文献1:日本特开2006-254383号公报

专利文献2:日本特开2007-251737号公报

发明内容

在精简型客户端系统中，需要迅速地检测存放于服务器装置侧的帧缓冲区的图像数据，使客户端装置以尽可能不受网络状态的影响的方式接收检测到的图像数据。

但是，在服务器装置生成的图像数据与在客户端装置发生的用户操作关联。因此，根据服务器装置将表示根据用户操作而执行的结果的图像数据(桌面画面、执行结果等)向客户端装置发送的定时的不同，有可能导致在客户端装置发生的用户操作与在客户端装置显示的图像数据之间的关系变得不自然。

在从服务器装置向客户端装置发送图像数据的情况下，具有以固定的帧速率发送的方式、等待来自接收侧的响应而发送的方式等。但是，即使是这些发送方式也产生发送延迟。

图10是用于说明以固定的帧速率发送的方式的情况下的延迟的图。

图10的左侧表示精简型客户端系统的服务器装置侧，右侧表示客户端装置侧。

客户端装置若通过用户发生了鼠标操作事件，则将各鼠标操作op1、op2、op3、op4、…按照发生顺序发送至服务器装置。服务器装置以固定的发送间隔，将作为桌面画面的帧数据的全部或者一部分的帧fr1、fr2、fr3、fr4、…发送至客户端装置。根据基于应用程序的用户操作的执行结果来更新桌面画面。

在服务器装置的发送间隔较长的情况下(帧速率较低的情况下)，存在因在客户端装置的接收间隔也变得较长而使画面更新不能顺利地进行这样的问题。例如，在客户端装置中，有时即使进行用户的鼠标操作op1、op2，也显示未与鼠标操作op2对应的桌面画面(帧fr1)，或者进行了鼠标操作op3、op4后，经过了一会儿才显示帧fr2、fr3、fr4。因此，存在有用户虽然自己终止了操作但是仍更新桌面画面的不协调感的情况。

在服务器装置的发送间隔较短的情况下(帧速率较高的情况下)，有可能导致服务器装置超过进行发送的网络的能够发送的带宽而进行发送，结果，有可能导致在客户端装置侧的图像数据(帧fr)的接收延迟，从而使桌面画面的更新延迟这样的情况。

图11是用于说明等待来自接收侧的响应而发送的方式的情况下的延迟的图。

图11的左侧表示精简型客户端系统的服务器装置侧，右侧表示客户端装置侧。与图10所示的情况相同地，客户端装置将鼠标操作op按照发生顺序而发送至服务器装置，服务器装置确认来自客户端装置的接收响应而将桌面画面的图像数据(帧fr)发送至客户端装置。