[发明专利]具有减少的音频延迟的沉浸式VR流式传输的方法和系统

权利要求书

1.一种在虚拟现实计算机应用程序中渲染音频的计算机实现的方法，所述方法包括：

由客户端设备从服务器设备接收音频帧数据的第一序列，所述音频帧数据的第一序列被生成为与所述客户端设备的用户的第一位置信息相对应；

由所述客户端设备接收与所述用户有关的第二位置信息，其中，与所述客户端设备相关联的音频渲染设备从所述音频帧数据的第一序列渲染第一组音频帧的同时，所述客户端设备接收所述第二位置信息；

由所述客户端设备基于所述第二位置信息对所述第一组音频帧进行修改，以生成第一组经修改的音频帧；以及

在所述音频渲染设备处渲染所述第一组经修改的音频帧。

2.根据权利要求1所述的计算机实现的方法，其中所述第二位置信息由一个或更多个传感器生成，所述一个或更多个传感器对应于通信地耦合到所述客户端设备的头戴式显示器。

3.根据权利要求1所述的计算机实现的方法，其中所述修改包括：通过应用头部相关传递函数HRTF，对所述第一组音频帧执行卷积。

4.根据权利要求3所述的计算机实现的方法，其中所述HRTF配置成具有通过所述音频渲染设备的传播介质的声音传播延迟，并且配置成基于参考所述用户的所述第一位置信息的所述第二位置信息。

5.根据权利要求1所述的计算机实现的方法，还包括：

从所述客户端设备向所述服务器设备发送所述第二位置信息；

由所述客户端设备接收所述服务器设备基于所述第二位置信息生成的音频帧数据的第二序列；以及

在所述渲染所述第一组经修改的音频帧之后，在所述音频渲染设备处基于所述音频帧数据的第二序列来渲染第二组音频帧。

6.根据权利要求1所述的计算机实现的方法，其中所述第一组音频帧具有预定义数量的音频帧。

7.根据权利要求1所述的计算机实现的方法，其中在所述客户端设备处缓存所述第一组音频帧。

8.根据权利要求1所述的计算机实现的方法，其中响应于所述客户端设备接收由所述服务器设备基于所述第二位置信息而生成的音频帧的延迟大于预定义的音频延迟阈值的指示，执行所述修改。

9.一种用于在虚拟现实计算机应用程序中渲染音频的装置，所述装置包括：

处理器；

一个或更多个网络电路，能够操作为通过网络将所述装置通信地耦合到服务器设备；和

存储器，耦合到所述处理器并存储指令，所述指令在由所述处理器执行时，使所述处理器执行生成音频信号的方法，其中所述方法包括：

从所述服务器设备接收音频帧数据的第一序列，其中所述装置配置成所述服务器设备的客户端，并且所述音频帧数据的第一序列对应于用户的第一位置信息；

接收与所述用户有关的第二位置信息，其中在音频渲染设备从所述音频帧数据的第一序列渲染第一组音频帧的同时，接收所述第二位置信息；

基于所述第二位置信息来修改所述第一组音频帧，以生成第一组经修改的音频帧；以及

在所述音频渲染设备处渲染所述第一组经修改的音频帧。

10.根据权利要求9所述的装置，其中所述第二位置信息与所述用户的经更新的头部位置有关，并且由与通信地耦合到所述装置的头戴式显示器相对应的一个或更多个传感器生成。

11.根据权利要求10所述的装置，其中所述修改包括：通过使用与所述用户的所述经更新的头部位置相关联的头部相关传递函数HRTF，对所述第一组音频帧执行卷积。

12.根据权利要求11所述的装置，其中所述HRTF配置成具有通过所述音频渲染设备的传播介质的声音传播延迟，并且配置成基于参考所述用户的所述第一位置信息的所述第二位置信息。