[发明专利]用于虚拟现实应用的音频传递优化

权利要求书

1.一种用于虚拟现实VR、增强现实AR、混合现实MR或360度视频环境的系统(102)，被配置为接收要在媒体消费设备中再现的视频和音频流，

其中所述系统(102)包括：

至少一个媒体视频解码器，被配置为解码来自视频流(1800)的视频信号，以向用户表示VR、AR、MR或360度视频环境，以及

至少一个音频解码器(104)，被配置为从至少一个音频流(106)中解码音频信号(108)，以表示音频场景，

其中，所述系统(102)被配置为至少基于用户的当前视口和/或头部取向和/或移动数据和/或交互元数据和/或虚拟位置数据(110)，请求(112)至少一个音频流(106)，

其中，所述系统(102)被配置为基于用户位置距与不同音频相关联的相邻和/或邻近视频环境的边界的距离来控制请求所述至少一个音频流，

其中，针对多个视频环境定义多个音频场景(150A、150B)，所述多个视频环境是邻近和/或相邻视频环境，

使得提供与第一当前场景相关联的第一音频流，并且在用户到第二其他音频场景的转换的情况下，提供与所述第一音频场景相关联的第一音频流和与第二音频场景相关联的第二音频流两者，

其中，当所述用户在与所述第一音频场景相关联的第一视频环境下时，与所述第一音频场景相关联的所述第一音频流处于较高比特率，而当用户处于从所述第一音频场景到所述第二音频场景的转换位置的开始处时，与关联于第二视频环境的所述第二音频场景相关联的所述第二音频流处于较低比特率，并且

当所述用户处于从所述第一音频场景到所述第二音频场景的转换位置的末端时，与所述第一音频场景相关联的所述第一音频流处于较低比特率，并且与所述第二音频场景相关联的所述第二音频流处于较高比特率，并且

其中，所述较低比特率低于所述较高比特率。

2.根据权利要求1所述的系统，被配置为：发送与所述用户的当前视口和/或头部取向和/或移动数据和/或交互元数据和/或虚拟位置数据(110)有关的信息，以获得至少一个音频流(106)。

3.根据权利要求1所述的系统，其中，至少一个音频场景与至少一个音频元素(152)相关联，每个音频元素与其中所述音频元素能够听见的视频环境中的位置和/或区域相关联，使得针对所述音频场景中不同的用户的位置和/或视口和/或头部取向和/或移动数据和/或交互元数据和/或虚拟位置数据，提供不同的音频流。

4.根据权利要求3所述的系统，被配置为：针对音频场景中所述当前用户的视口和/或头部取向和/或移动数据和/或交互元数据和/或虚拟位置，决定是否要再现所述至少一个音频元素，以及

其中，所述系统被配置为请求和/或接收所述当前用户的虚拟位置处的所述至少一个音频元素。

5.根据权利要求3所述的系统，被配置为：至少基于所述用户的当前视口和/或头部取向和/或移动数据和/或交互元数据和/或虚拟位置数据(110)，预测性地决定所述至少一个音频元素是否将变得相关和/或能够听见，

其中，所述系统被配置为：在预测的用户在音频场景中的移动和/或交互之前，请求和/或接收在特定用户的虚拟位置处的至少一个音频元素和/或音频流和/或适应集，以及

其中，所述系统被配置为：在用户在所述音频场景中的移动和/或交互之后，当接收到所述至少一个音频元素时，在所述特定用户的虚拟位置处对所述至少一个音频元素进行再现。

6.根据权利要求3所述的系统，被配置为：在用户的交互之前，在所述用户的虚拟位置处以较低的比特率来请求和/或接收所述至少一个音频元素(152)，所述交互由相同音频场景(150)中的位置数据的变化或进入与当前场景分开的下一场景而引起，

其中，所述系统被配置为：在用户在音频场景中的交互之后，在所述用户的虚拟位置处以较高的比特率来请求和/或接收所述至少一个音频元素。

7.根据权利要求3所述的系统，其中，所述系统被配置为：与距所述用户更远的音频元素相比，对于距所述用户更近的音频元素，以更高的比特率来请求和/或接收流。