[发明专利]用于高体验质量的音频消息的有效传递和使用的方法和装置

权利要求书

1.一种用于虚拟现实VR、增强现实AR、混合现实MR或360度视频环境的系统，所述系统被配置为：

接收与要再现的音频视频场景相关联的至少一个视频流(106)；以及

接收与要再现的音频视频场景相关联的至少一个第一音频流(116、316)，

其中，所述系统包括：

至少一个媒体视频解码器(102)，被配置为从所述至少一个视频流(106)中解码至少一个视频信号，以向用户表示所述音频视频场景；以及

至少一个媒体音频解码器(112)，被配置为从所述至少一个第一音频流(116、316)中解码至少一个音频信号，以向用户表示所述音频视频场景；

感兴趣区域ROI处理器(120)，被配置为：

至少基于用户的当前视口和/或头部取向和/或运动数据(122)和/或视口元数据(131)和/或音频信息消息元数据(141)，决定是否要再现与至少一个ROI相关联的音频信息消息，其中，所述音频信息消息独立于所述至少一个视频信号和所述至少一个音频信号；以及

在决定要再现所述信息消息的情况下，使得再现所述音频信息消息。

2.一种用于虚拟现实VR、增强现实AR、混合现实MR或360度视频环境的系统，所述系统被配置为：

接收至少一个视频流(106)；以及

接收至少一个第一音频流(116、316)，

其中，所述系统包括：

至少一个媒体视频解码器(102)，被配置为从所述至少一个视频流(106)中解码至少一个视频信号，以向用户表示VR、AR、MR或360度视频环境场景(118a)；以及

至少一个媒体音频解码器(112)，被配置为从所述至少一个第一音频流(116、316)中解码至少一个音频信号，以向用户表示音频场景(118b)；

感兴趣区域ROI处理器(120)，被配置为：

基于用户的当前视口和/或头部取向和/或运动数据(122)和/或视口元数据(131)和/或音频信息消息元数据(141)，决定是否要再现与至少一个ROI相关联的音频信息消息，其中，所述音频信息消息是earcon；以及

在决定要再现所述信息消息的情况下，使得再现所述音频信息消息。

3.根据权利要求1或2所述的系统，还包括：

元数据处理器(132)，被配置为：接收和/或处理和/或操控音频信息消息元数据(141)，以便在决定要再现所述信息消息时，使得根据所述音频信息消息元数据(141)来再现所述音频信息消息。

4.根据前述权利要求中任一项所述的系统，其中，所述ROI处理器(120)被配置为：

接收用户的当前视口和/或位置和/或头部取向和/或运动数据和/或其他与用户相关的数据(122)；以及

从所述至少一个视频流(106)接收与至少一个视频信号相关联的视口元数据(131)，所述视口元数据(131)定义了至少一个ROI；以及

基于用户的当前视口和/或位置和/或头部取向和/或运动数据(122)以及所述视口元数据中至少之一，决定是否要再现与所述至少一个ROI相关联的音频信息消息。

5.根据前述权利要求中任一项所述的方法，还包括：

元数据处理器(132)，被配置为：接收和/或处理和/或操控描述所述音频信息消息的音频信息消息元数据(141)和/或描述编码在所述至少一个音频流(116)中的所述至少一个音频信号的音频元数据(236)和/或所述视口元数据(131)，以便使得根据所述音频信息消息元数据(141)和/或描述编码在所述至少一个音频流(116)中的所述至少一个音频信号的音频元数据(236)和/或所述视口元数据(131)来再现所述音频信息消息。