[发明专利]具有减少的音频延迟的沉浸式VR流式传输的方法和系统

说明书

本发明公开了具有减少的音频延迟的沉浸式VR流式传输的方法和系统。一种响应于用户相对于声音系统的位置变化，使用HRTF函数来快速捕获预先计算的音频帧的新的位置提示的虚拟现实(VR)音频渲染系统和方法。在客户端‑服务器VR系统中，当检测到用户位置改变时，客户端会基于新位置确定适当的HRTF，并将它们与服务器基于先前位置生成的一组音频帧进行卷积，从而产生修改的帧以用于渲染。同时，客户端将新位置传播到服务器，以生成用于校正后的位置的后续音频帧。由于HRTF卷积在计算上耗费少，因此可以显著减少由用户感知的用户位置变化与由此导致的声音变化之间的延迟。因此，可以保持用户的沉浸式VR体验。

技术领域

本发明的实施例涉及音频数据处理，并且更具体地，涉及用于减少感知的虚拟现实应用中的音频延迟的机制。

背景技术

尽管虚拟现实(VR)在包括内容创作、体育、娱乐和游戏广播在内的多个领域中提供了令人兴奋的机会，但是当试图向广大用户提供沉浸式体验时，VR应用也带来了新的挑战。当前的VR行业面临的最困难的挑战之一就是延迟。例如，头部运动与显示图像的最终变化之间的视频延迟超过50毫秒(ms)，可能会导致分离的感觉体验，并可能导致用户晕动和头晕。理想情况下，VR系统的视觉延迟应小于15毫秒，以避免视频延迟问题，从而提供沉浸式虚拟现实体验。

类似于视频延迟，音频延迟可以是破坏性的和破坏沉浸的。在典型的客户端-服务器游戏系统中，远程主机服务器通过考虑用户头部(例如，由头戴式设备(HMD)检测到的)和音频渲染设备(例如一组扬声器和/或头戴式耳机)之间的相对位置来执行游戏执行并生成音频帧。主机代表仅发送输入和显示输出帧的一个或更多个客户端进行渲染。一旦检测到用户的头部运动后，远程主机会基于新的头部位置和VR场景内容重新计算要渲染的音频帧，并将其流式传输以进行实时渲染。但是，音频帧的重新计算需要密集的实时计算。以这种方式应用和渲染音频帧可能会大大增加端到端音频延迟，从而给用户带来不好的体验。根据主机系统和下面的音频层的计算速度，在使用高端、低延迟音频接口的高性能PC中，从缓冲区提交到可听输出的延迟可能短至2ms，或者在最差的情况下，长至几百毫秒。随着音频源和收听者头部之间相对速度的增加，这样大的延迟成为问题。

人类收听者可以检测到相距小到3度(3°)的两个声源之间的差异，大约是一个人在相距10米的宽度。头部远侧的耳朵比近侧耳朵稍晚听到声音，这是因为其与声源的距离更大。根据典型的头部尺寸(约22cm)和声速(约340m/s)，3°的角度辨别需要约30ms的定时精度。

低音频延迟和位置音频提示对于维持逼真的沉浸式VR体验非常重要。如果头部运动和生成的音频渲染之间的音频延迟较大，则不希望地破坏了沉浸式VR体验。不幸的是，所有音频系统都很难提供低音频延迟，并且位置音频提示在参考用户头部位置时也可能不准确。

发明内容

本发明提供了一种机制和方法，该机制和方法减少了与用户头部位置相对于虚拟现实(VR)流中的声源的变化有关的音频延迟，从而增强了用户的沉浸式VR体验。

在VR内容(例如游戏)流式传输中，音频数据可以由服务器生成，并流式传输到用户控制的本地客户端设备，以例如通过扬声器系统进行播放。为了提供沉浸式VR体验，渲染的声音会向用户传递适当的位置提示。因此，音频数据是针对相对于扬声器系统的用户头部位置生成的。当用户的头部移动时，将修改音频数据以向用户提供相应适应的位置提示，以维持沉浸式VR体验。