[发明专利]同步具有远程设备输入的流应用环境的方法、系统和装置

说明书

本公开涉及同步具有远程设备输入的流应用环境的方法、系统和装置。在流应用环境中，可以部分地通过使用在远程设备和流应用环境之间传递的帧刷新事件使在远程设备中生成的输入与由流应用环境中的虚拟流应用生成的渲染内容同步，以使流应用环境能够有效地跟踪远程设备的帧刷新率，使得从远程设备接收到的输入事件可以以适当的帧间隔注入到虚拟流应用中。

分案说明

本申请属于申请日为2017年9月21日的中国发明专利申请No.201780071409.4的分案申请。

技术领域

本公开涉及同步具有远程设备输入的流应用环境的方法、系统和装置。

背景技术

一些应用服务提供将软件应用(更简单地“应用”或“app”)交互“流传输”到远程设备(例如，诸如智能电话、平板电脑、车辆计算系统、可穿戴设备(例如，智能手表)等等的移动设备)的能力。这样的应用的流传输可以允许用户操作应用而无需在远程设备上本地实际下载和安装应用，这在具有有限处理和/或存储器资源的远程设备中可能是有用的，或者为了试用应用的目的。在一些实例中，可以通过在由一个或多个服务器(例如，共同形成的所谓的“云”)操作的虚拟机上安装应用来完成应用流传输，由此一个或多个输入/输出(“I/O”)流可以在虚拟机和远程设备之间建立以向虚拟机提供在远程设备处接收到的输入数据的各种模态，并且同样地向远程设备提供由来自于虚拟机的应用生成的输出数据的各种模态。

在一些实例中，应用服务在能够支持一个或多个虚拟流应用以供一个或多个远程设备使用的流应用环境中实现。此外，在一些实例中，虚拟流应用生成的内容可以以被捕获、编码并流传输到远程设备以进行视频回放的渲染帧缓冲器的形式输出。然后，在远程设备上，诸如手势或触摸事件和其他输入的用户控制信息可以被捕获、编码并被上传到流应用环境并注入虚拟流应用以相应地渲染其内容。

然而，即使超出在远程设备上的本地应用所渲染的同步挑战，将用户控制信息和其他输入的注入与远程设备上的应用内容的渲染同步也能够是有问题的。例如，在诸如移动设备的计算设备包括能够被用户的手指操纵的触摸屏的情况下，确保通过渲染的内容跟踪诸如手指滑动或滚动手势的用户输入即使对于本地已安装的应用也能够是挑战性的。

作为示例，使用多个事件来处理针对触摸屏的许多手势。在许多实例中，诸如手指滑动的手势通常由当用户第一次将手指放在触摸屏上时发出信号的“触摸开始(touchdown)”事件、当用户抬起手指离开触摸屏时发出信号的“触摸结束(touch up)”事件、以及在触摸触摸屏时跟踪手指移动的多个“触摸移动”事件来表示。在许多计算设备中，可以以与触摸屏计算设备的帧刷新速率匹配的速率(即在触摸屏上更新以帧形式渲染的内容的速率)在该设备上生成事件。此外，在许多计算设备中，帧可以以大约60Hz或更高的频率进行更新，并且因此，简单的手指滑动可以导致产生数十或数百个单独但相关的事件。此外，已经发现，当某些类型的用户输入事件未与在此期间生成输入事件的所渲染的内容帧适当地同步时，可能导致不良的用户体验。但是作为一个示例，通过在触摸屏上拖动用户的手指来缓慢滚动内容能够导致当与移动相关联的事件被映射到错误帧时的不稳定。

然而，在计算设备通过诸如因特网的分组交换网络在流应用环境中与虚拟流应用交互的情况下，前述同步挑战要大得多。由于因特网和其他分组交换网络的实际限制，包含用户输入和/或渲染内容的分组可能被完全延迟或丢失，并且可能无序地到达。此外，在许多移动和/或车辆应用中可能出现网络连接受损的情况下，分组丢失或延迟的风险更大。虽然诸如传输控制协议(TCP)的协议允许在丢失分组的情况下进行分组重传，但是等待接收所有分组以便于确保接收和处理所有输入数据和渲染内容可能会引入不可接受的延迟并减损用户体验。

发明内容