[发明专利]用于空间音频播放的装置和方法

说明书

一种装置，包括至少一个处理器和包括用于一个或多个程序的计算机代码的至少一个存储器，该至少一个存储器和该计算机代码被配置为与该至少一个处理器一起使得该装置至少：生成用于内容锁定的内容锁定信息，其中，该内容锁定信息使得能够基于位置和/或定向输入来控制与与一个或多个音频源有关的音频信号相关联的音频信号处理。

技术领域

本申请涉及用于空间音频播放的装置和方法。

背景技术

在3D空间中，存在定义用户可在所述空间内移动的方式的六个自由度。该移动被划分成两类：旋转移动和平移移动(各自具有三个自由度)。旋转移动足以用于简单的虚拟现实(VR)体验，其中用户可转动他们的头部(俯仰、偏航和横滚)以从静态点体验该空间。平移移动意味着用户还可改变渲染的位置。换句话说，根据他们的意愿来沿着x、y和z轴移动。自由视点增强现实(AR)和VR体验允许旋转移动和平移移动这两者。

使用术语3DoF(三个自由度)、3DoF+和6DoF(六个自由度)来谈论自由度(和相关体验)是常见的。3DoF+介于3DoF与6DoF之间，因为它允许一些有限的用户移动，例如，在受限的平移自由度的同时允许全运动范围的旋转移动。因此，有时3DoF+可被视为实现受限的6DoF，其中用户是坐着的，但可将他们的头部朝各个方向倾斜。

目前，ISO/IEC运动图像专家组(MPEG)正以MPEG-I的名义标准化沉浸式媒体技术。这包括用于各种虚拟现实(VR)、增强现实(AR)或混合现实(MR)使用实例的方法。MPEG-I被划分成三个阶段：阶段1a、1b和2。阶段1a和1b考虑3DoF和3DoF+使用实例，然后阶段2将至少在某种意义上允许非受限的6DoF。对于音频标准化，已经将重点放在6DoF音频上，因为已有的方法被认为至少涵盖了3DoF/3DoF+使用实例的重要部分。然而，在某些方面将需要进一步开发至少3DoF+(阶段1b)标准。

沉浸式或空间音频(用于3DoF/3DoF+/6DoF)可包括各种音频信号和信息。例如，可使用基于通道的床和音频对象、一阶或更高阶的全景环绕声(ambisonics)(FOA/HOA)和音频对象、这些(诸如仅音频对象)的任何组合、或任何等效的空间音频表示。这些音频信号可作为MPEG-H 3D音频(如ISO/IEC 23008-3(MPEG-H部分3)音频编码标准所规定的)连同附加元数据和将构成MPEG-I音频标准的新的渲染技术一起被携带。

发明内容

根据第一方面，提供了一种装置，包括：至少一个处理器和包括用于一个或多个程序的计算机代码的至少一个存储器，至少一个存储器和计算机代码被配置为与至少一个处理器一起使得该装置至少：生成用于内容锁定的内容锁定信息，其中，该内容锁定信息使得能够基于位置和/或定向输入来控制与与一个或多个音频源有关的音频信号相关联的音频信号处理。

内容锁定信息还可使得能够基于位置和/或定向输入来控制图像的图像处理。

被使得生成内容锁定信息的该装置可被使得生成以下中的至少一个：被使得激活内容锁定的触发参数；被配置为标识至少一个音频源的标识符；以及要被应用于至少一个音频源的至少一个内容锁定类型。

至少一个内容锁定类型是以下中的至少一个：平移锁定，用于平移地锁定至少一个音频源；旋转锁定，用于旋转地锁定至少一个音频源；头部锁定，用于平移和旋转地锁定至少一个音频源；身体锁定，用于旋转地锁定至少一个音频源并且不平移地锁定该至少一个音频源；硬锁定，用于锁定至少一个音频源而该至少一个音频源没有运动；以及软锁定，用于在值的范围内锁定至少一个音频源。

触发参数可包括以下中的至少一个：采用以下中的至少一个来定义的视口范围：方位角和仰角；时间范围；以及对象标识符。

被使得生成内容锁定信息的该装置可进一步被使得生成以下中的至少一个：在实施内容锁定时要被应用于图像的图像效果；在实施内容锁定时将要由音频信号处理应用的音频效果。