[发明专利]具有丢失或者延迟的输入事件的恢复的流应用环境

说明书

在通过分组交换网络耦合到远程设备的流应用环境中，可以从接收自远程设备的输入事件合成校正事件，并将其注入到虚拟流应用中以解决丢失或延迟的输入事件。另外，拖曳事件可以由远程设备在其间没有生成新输入事件的帧中重新发出。

背景技术

一些应用服务提供将软件应用(更简单地“应用”或“app”)交互“流传输”到远程设备(例如，诸如智能电话、平板电脑、车辆计算系统、可穿戴设备(例如，智能手表)等等的移动设备)的能力。这样的应用的流传输可以允许用户操作应用而无需在远程设备上本地实际下载和安装应用，这在具有有限处理和/或存储器资源的远程设备中可能是有用的，或者为了试用应用的目的。在一些实例中，可以通过在由一个或多个服务器(例如，共同形成的所谓的“云”)操作的虚拟机上安装应用来完成应用流传输，由此一个或多个输入/输出(“I/O”)流可以在虚拟机和远程设备之间建立以向虚拟机提供在远程设备处接收到的输入数据的各种模态，并且同样地向远程设备提供由来自于虚拟机的应用生成的输出数据的各种模态。

在一些实例中，应用服务在能够支持一个或多个虚拟流应用以供一个或多个远程设备使用的流应用环境中实现。此外，在一些实例中，虚拟流应用生成的内容可以以被捕获、编码并流传输到远程设备以进行视频回放的渲染帧缓冲器的形式输出。然后，在远程设备上，诸如手势或触摸事件和其他输入的用户控制信息可以被捕获、编码并被上传到流应用环境并注入虚拟流应用以相应地渲染其内容。

然而，即使超出在远程设备上的本地应用所渲染的同步挑战，将用户控制信息和其他输入的注入与远程设备上的应用内容的渲染同步也能够是有问题的。例如，在诸如移动设备的计算设备包括能够被用户的手指操纵的触摸屏的情况下，确保通过渲染的内容跟踪诸如手指滑动或滚动手势的用户输入即使对于本地已安装的应用也能够是挑战性的。

作为示例，使用多个事件来处理针对触摸屏的许多手势。在许多实例中，诸如手指滑动的手势通常由当用户第一次将手指放在触摸屏上时发出信号的“触摸向下(touchdown)”事件、当用户抬起手指离开触摸屏时发出信号的“触摸向上(touch up)”事件、以及在触摸触摸屏时跟踪手指移动的多个“触摸移动(touch move)”事件来表示。在许多计算设备中，可以以与触摸屏计算设备的帧刷新速率匹配的速率(即在触摸屏上更新以帧形式渲染的内容的速率)在该设备上生成事件。此外，在许多计算设备中，帧可以以大约60Hz或更高的频率进行更新，并且因此，简单的手指滑动可以导致产生数十或数百个单独但相关的事件。此外，已经发现，当某些类型的用户输入事件未与在此期间生成输入事件的所渲染的内容帧适当地同步时，可能导致不良的用户体验。但是作为一个示例，通过在触摸屏上拖动用户的手指来缓慢滚动内容能够导致当与移动相关联的事件被映射到错误帧时的不稳定。

然而，在计算设备通过诸如因特网的分组交换网络在流应用环境中与虚拟流应用交互的情况下，前述同步挑战要大得多。由于因特网和其他分组交换网络的实际限制，包含用户输入和/或渲染内容的分组可能被完全延迟或丢失，并且可能无序地到达。此外，在许多移动和/或车辆应用中可能出现网络连接受损的情况下，分组丢失或延迟的风险更大。虽然诸如传输控制协议(TCP)的协议允许在丢失分组的情况下进行分组重传，但是等待接收所有分组以便于确保接收和处理所有输入数据和渲染内容可能会引入不可接受的延迟并减损用户体验。

发明内容

本文公开的一些实施方式可以包括在包括一个或多个处理器的流应用环境中执行的方法，其可以包括将虚拟流应用与通过分组交换网络耦合到流应用环境的远程设备对接，包括从分组交换网络接收在远程设备处生成的输入并且将响应于接收到的输入由虚拟流应用生成的输出显示表示通过分组交换网络流传输到远程设备，从远程设备接收输入事件，每个输入事件与在远程设备上生成的输入相关联，从接收到的输入事件合成至少一个校正事件，所述至少一个校正事件对应于在远程设备处生成的丢失或延迟的输入事件，以及控制接收到的输入事件和至少一个校正事件到虚拟流应用中的注入。