[发明专利]同步具有远程设备输入的流应用环境的方法、系统和装置

权利要求书

1.一种由流应用环境的一个或多个处理器实现的方法，包括：

接收输入事件和帧刷新事件，所述输入事件和所述帧刷新事件是通过分组交换网络来传送到所述流应用程序环境的，

其中，所述输入事件是响应于输入而被传送到所述流应用环境，所述输入是在与设备相关联的用户输入组件处接收到的，所述设备是通过所述分组交换网络耦合到所述流应用环境，

其中，所述输入是在由所述设备渲染输出显示表示的多个帧期间在所述用户输入组件处接收的，所述输出显示表示是由所述流传输应用环境通过所述分组交换网络来流传输到所述设备的，以及

其中，所述帧刷新事件中的每一个是针对所述帧中的对应帧，并且是基于所述设备的帧刷新率来生成的；

生成所述输出显示表示的另外的帧，其中所述输出显示表示的所述另外的帧是基于以下来生成的：(a)所述输入事件以及(b)所述帧刷新事件，所述帧刷新事件均是基于所述设备的帧刷新率来生成的；和

通过所述分组交换网络向所述设备流传输所述输出显示表示的所述另外的帧，所述另外的帧是基于所述输入事件和基于所述帧刷新事件来生成的。

2.根据权利要求1所述的方法，其中，生成所述输出显示表示的所述另外的帧，包括：

为所述虚拟流应用生成和与所述帧刷新事件相关联的帧相对应的虚拟帧，其中生成所述虚拟帧是以基于与所述帧刷新事件一起包括的时间戳的虚拟帧刷新率来进行的；和

基于生成的虚拟帧来生成所述另外的帧。

3.根据权利要求2所述的方法，其中，以基于与所述帧刷新事件一起包括的所述时间戳的所述虚拟帧刷新率生成所述虚拟帧包括与以下相关来生成所述虚拟帧：所述时间戳、相对最小的单向网络延迟以及最大回放延迟。

4.根据权利要求3所述的方法，其中，所述最大回放延迟是基于在所述分组交换网络中的观察到的网络抖动来确定的。

5.根据权利要求2所述的方法，其中，为所述虚拟流应用生成和与所述帧刷新事件相关联的帧相对应的所述虚拟帧包括：

对接收到的输入事件向所述虚拟流应用的注入进行同步，以将所述输入事件排列在和与接收到的输入事件相关联的帧相对应的虚拟帧内。

6.根据权利要求5所述的方法，其中，对所述输入事件向所述虚拟流应用的注入进行同步是基于所述输入事件所包括的时间戳。

7.根据权利要求6所述的方法，进一步包括：基于所述时间戳来对所述输入事件进行排队，并且其中，对所述输入事件向所述虚拟流应用的所述注入进行同步包括：对排队的输入事件的注入进行同步。

8.根据权利要求7所述的方法，其中，对排队的输入事件向所述虚拟流应用的注入进行同步包括：

忽略是重复的任何排队的输入事件；

注入按时的任何排队的输入事件；

丢弃迟到的任何排队的输入事件；以及

继续排队早到的任何排队的输入事件。

9.根据权利要求1所述的方法，其中，所述分组交换网络包括因特网。

10.根据权利要求1所述的方法，其中，所述设备包括移动电话、平板计算机、可穿戴计算机或车辆计算机。

11.根据权利要求1所述的方法，其中，每个输入事件与指向所述设备的触摸屏的用户输入相关联。