[发明专利]用于高体验质量的音频消息的有效传递和使用的方法和装置

说明书

公开了一种用于虚拟现实VR、增强现实AR、混合现实MR或360度视频环境的方法和系统。所述系统可以被配置为：接收与要再现的音频视频场景相关联的至少一个视频流(106)；以及接收与要再现的音频视频场景相关联的至少一个第一音频流(116、316)，其中，所述系统包括：至少一个媒体视频解码器(102)，被配置为从至少一个视频流(106)中解码至少一个视频信号，以向用户表示所述音频视频场景；以及至少一个媒体音频解码器(112)，被配置为从至少一个第一音频流(116、316)中解码至少一个音频信号，以向用户表示所述音频视频场景；感兴趣区域ROI处理器(120)，被配置为：至少基于用户的当前视口和/或头部取向和/或运动数据(122)和/或视口元数据(131)和/或音频信息消息元数据(141)，决定是否要再现与至少一个ROI相关联的音频信息消息，其中，所述音频信息消息独立于所述至少一个视频信号和所述至少一个音频信号；以及在决定要再现信息消息的情况下，使得再现所述音频信息消息。

背景技术

1.介绍

在许多应用中，可听消息的传递可以改善媒体消费期间的用户体验。虚拟现实(VR)内容给出了此类消息最相关的应用之一。在VR环境中，或类似地在增强现实(AR)或混合现实(MR)或360度视频环境中，用户通常可以使用例如头戴式显示器(HMD)来将全360度内容可视化，并通过耳机(或类似地通过扬声器，包括取决于其位置的正确渲染)收听360度内容。用户通常可以在VR/AR空间中运动，或至少更改观看方向——视频的所谓“视口”。在使用经典再现系统(宽显示器)而不是HMD的360度视频环境中，可以使用远程控制设备来模拟用户在场景中的运动，并且适用类似的原理。应当注意的是，360度内容可以指的是用户可以从中选择(例如，通过用户的头部取向或使用遥控设备)的任何类型的内容，这些内容包括同一时刻的一个以上的视角。

与传统的内容消费相比，对于VR而言，内容创建者无法再控制用户在各个时刻——当前视口——可视化的内容。用户可以在每个时间实例从允许或可用的视口中自由选择不同视口。

VR内容消费的常见问题是以下风险：由于错误的视口选择，导致用户错过视频场景中的重要事件。为了解决此问题，引入了感兴趣区域(ROI)的概念，并考虑了用于发信号通知ROI的几种概念。尽管ROI通常用于向用户指示包含推荐视口在内的区域，但它也可以用于其他目的，例如：指示场景中存在新字符/对象；指示与场景中的对象相关联的可访问性功能；基本上是可以与组成视频场景的元素相关联的任何特征。例如，可以使用视觉消息(例如，“将头向左转动”)，并将其叠加在当前视口上。替代地，可以通过在ROI的位置处播放可听声音(自然声音或合成声音)来使用可听声音。这些音频消息被称为“Earcons”。

在本申请的上下文中，Earcon的概念将用于表征为发信号通知ROI所传达的音频消息，但是建议的信号通知和处理也可以用于一般性音频消息，其目的不是发信号通知ROI。这样的音频消息的一个示例由音频消息给出，该音频消息用于传达用户/用户在交互式AWVR/MR环境中所具有的各种选项的信息/指示(例如，“跳过您左侧的盒子以进入房间X”)。此外，将使用VR示例，但本文献中描述的机制适用于任何媒体消费环境。

2.术语和定义

在技术领域中使用以下术语：

·元素：可以表示为例如音频对象、音频信道、基于场景的音频(高阶Ambisonics(HOA))或所有这些的组合的音频信号。

·兴趣的区域(ROI)：在一个时刻用户感兴趣的视频内容(或显示或模拟的环境)的一个区域。例如，这通常可以是球体上的一区域，也可以是2D地图中的多边形选择。ROI针对特定目的而标识特定区域，限定了所考虑对象的边界。

·用户位置信息：位置信息(例如x、y、z坐标)、取向信息(偏航、俯仰、侧倾)、运动方向和速度等。

·视口：当前显示和用户观看的球形视频的一部分。

·视点：视口的中心点。