[发明专利]沉浸式音频服务中的音频处理

权利要求书

1.一种装置，其包括或连接到麦克风系统(302)，所述麦克风系统包括用于捕获音频的一或多个麦克风，所述装置包括：

接收单元(304)，其经配置以：

接收(S13)由所述麦克风系统捕获的定向音频(320)；

接收(S14)与所述麦克风系统相关联的元数据(322)，所述元数据包括所述麦克风系统的空间数据，所述空间数据指示所述麦克风系统的空间定向及/或空间位置，且包括来自以下各项的列表中的至少一者：所述麦克风系统的方位角、俯仰角、横摇角及空间坐标；

计算单元(306)，其经配置以：

修改所述定向音频中的至少一些以产生经修改的定向音频，其中响应于所述麦克风系统的所述空间定向及/或空间位置修改所述音频的定向性质；

将所述经修改的定向音频编码为数字音频数据(328)；

发射单元(308)，其经配置以发射所述数字音频数据。

2.根据权利要求1所述的装置，其中所述麦克风系统的所述空间定向用所述空间数据中的描述具有一个自由度DoF的旋转移动/定向的参数来表示。

3.根据权利要求1所述的装置，其中所述麦克风系统的所述空间定向用所述空间数据中的描述具有三个DoF的旋转移动/定向的参数来表示。

4.根据权利要求1或3中任一权利要求所述的装置，其中所述麦克风系统的所述空间数据以六个DoF来表示。

5.根据权利要求1至4中任一权利要求所述的装置，其中所述接收的定向音频包括包括定向元数据的音频。

6.根据权利要求1至5中任一权利要求所述的装置，其中计算单元经进一步配置以将包括所述麦克风系统的空间数据的所述元数据的至少部分编码为所述数字音频数据。

7.根据权利要求6所述的装置，其中所述接收单元经进一步配置以接收(S11)第一指令(334)，所述第一指令向所述计算单元指示是否将包括所述麦克风系统的空间数据的所述元数据的所述至少部分包含到所述数字音频数据中，其中所述计算单元相应地进行动作。

8.根据权利要求6至7中任一权利要求所述的装置，其中所述接收单元经进一步配置以接收(S12)第二指令(334)，所述第二指令向所述计算单元指示所述麦克风系统的所述空间数据的哪个或哪些参数将包含在所述数字音频数据中，其中所述计算单元相应地进行动作。

9.根据权利要求7至8中任一权利要求所述的装置，其中所述发射单元经配置以将所述数字音频数据发射到另一装置(400)，其中从所述另一装置接收关于所述第一及/或第二指令的指示。

10.根据权利要求1至9中任一权利要求所述的装置，其中所述接收单元经进一步配置以接收元数据，所述元数据包括指示所述定向音频的捕获时间的时间戳，其中所述计算单元经配置以将所述时间戳编码为所述数字音频数据。

11.根据权利要求1至10中任一权利要求所述的装置，其中所述经修改的定向音频的所述编码包括对所述经修改的定向音频进行降混，其中通过考虑所述麦克风系统的所述空间定向来执行所述降混，及将所述降混与所述降混中使用的降混矩阵编码为所述数字音频数据。

12.根据权利要求11所述的装置，其中所述降混包括波束成形。

13.根据权利要求1至12中任一权利要求所述的装置，其在包括所述麦克风系统及头部跟踪装置的虚拟现实VR装备(602a-e)或增强现实AR装备(602a-e)中实施，所述头部跟踪装置经配置以用3到6个DoF确定所述装置的空间数据。