[发明专利]具有丢失或者延迟的输入事件的恢复的流应用环境

权利要求书

1.一种方法，包括，在包括一个或多个处理器的流应用环境中：

将虚拟流应用与通过分组交换网络耦合到流应用环境的远程设备对接，包括：

从所述分组交换网络接收在所述远程设备处生成的输入，并且

将响应于接收到的输入由所述虚拟流应用生成的输出显示表示通过所述分组交换网络流传输到所述远程设备，所述输出显示表示包括多个帧；

从所述远程设备接收多个输入事件，所述多个输入事件的每个输入事件与在所述输出显示表示的帧的渲染期间在所述远程设备上生成的输入相关联，并且所述多个输入事件的每个输入事件与对应时间戳相关联；

从接收到的所述多个输入事件合成至少一个校正事件，所述至少一个校正事件对应于在所述输出显示表示的帧的渲染期间在所述远程设备上生成的所述多个输入事件的丢失或延迟的输入事件，所述至少一个校正事件与用于所述至少一个校正事件的校正事件时间戳相关联，并响应于所述远程设备上生成的输入；

生成所述多个输入事件和所述至少一个校正事件的优先级队列，其中，生成所述优先级队列是基于接收到的所述多个输入事件的对应时间戳以及基于所述至少一个校正事件的所述校正事件时间戳；以及

在所述虚拟流应用内并且根据用于所述优先级队列中的每个输入事件的对应时间戳以及用于所述优先级队列中的所述至少一个校正事件的所述校正事件时间戳，控制将接收到的所述多个输入事件和所述至少一个校正事件注入到所述虚拟流应用中，以同步接收到的所述多个输入事件和所述至少一个校正事件。

2.根据权利要求1所述的方法，其中，接收到的所述多个输入事件包括与由所述远程设备接收到的用户手势相关联的手势开始事件、手势停止事件和手势移动事件，所述方法进一步包括跟踪用户手势的状态。

3.根据权利要求2所述的方法，其中，所述用户手势与触摸屏的触摸相关联，其中所述手势开始事件是触摸向下事件，所述手势停止事件是触摸向上事件，并且所述手势移动事件是触摸移动事件。

4.根据权利要求2所述的方法，其中，跟踪所述用户手势的状态包括确定所述手势是开始还是完成。

5.根据权利要求4所述的方法，其中，合成对应于丢失或延迟的输入事件的所述至少一个校正事件包括：响应于当跟踪所述用户手势的状态指示所述手势开始时检测到手势开始事件，合成手势停止事件以在检测到的手势开始事件之前被注入。

6.根据权利要求5所述的方法，其中，合成所述手势停止事件包括：从检测到的手势开始事件生成重复事件，将用于所述重复事件的动作设置为停止，利用最后注入的坐标来设置用于所述重复事件的坐标，以及将用于所述重复事件的时间戳设置为最后手势开始时间戳。

7.根据权利要求4所述的方法，其中，合成对应于丢失或延迟的输入事件的所述至少一个校正事件包括：响应于当跟踪所述用户手势的状态指示所述手势完成时检测到手势停止事件或手势移动事件，合成手势开始事件以在检测到的手势停止事件或手势移动事件之前被注入。

8.根据权利要求7所述的方法，其中，合成所述手势开始事件包括从检测到的手势停止事件或所述手势移动事件生成重复事件，并且将用于所述重复事件的动作设置为开始。

9.根据权利要求4所述的方法，进一步包括：跟踪最后手势开始时间戳，其中合成对应于丢失或延迟的输入事件的所述至少一个校正事件包括：响应于当跟踪所述用户手势的状态指示所述手势开始时检测到手势停止事件或手势移动事件并且检测到匹配的手势开始事件的对应时间戳不同于所述最后手势开始时间戳，合成手势停止事件和手势开始事件对以在检测到的手势停止事件或所述手势移动事件之前被注入。

10.根据权利要求2至9中的任意一项所述的方法，进一步包括：合成在接收到的手势开始事件之后的用于注入的至少一个伴随手势移动事件。