[发明专利]用于生成和交互式地渲染基于对象的音频的方法和系统

摘要

用于生成基于对象的音频节目的方法，该基于对象的音频节目是以可个性化的方式可渲染的，并且包括在不选择其他节目内容的情况下可渲染的扬声器通道声床(例如，以提供默认的全范围音频体验)。其他实施方式包括递送、解码和/或渲染这样的节目的步骤。声床的内容的渲染或者节目的其他内容的所选的混音的渲染可以提供沉浸式体验。节目可以包括多个对象通道(例如，指示用户可选的和用户可配置的对象的对象通道)、扬声器通道声床和其他扬声器通道。另一方面是音频处理单元(例如，编码器或解码器)，其被配置成执行方法的任意实施方式，或者其包括存储根据方法的任意实施方式生成的基于对象的音频节目(或其比特流)的至少一个帧(或其他分段)的缓冲存储器。

主权项

一种用于生成指示音频内容的基于对象的音频节目的方法，所述音频内容包括第一非环境内容、与所述第一非环境内容不同的第二非环境内容以及与所述第一非环境内容和所述第二非环境内容不同的第三内容，所述方法包括步骤：确定包括N个对象通道的对象通道组，其中所述对象通道组的第一子组指示所述第一非环境内容，所述第一子组包括所述对象通道组中的M个对象通道，N和M中的每个是大于零的整数，并且M等于或小于N；确定指示音频内容的默认混音的扬声器通道声床，其中包括所述声床中的M个扬声器通道的基于对象的扬声器通道子组指示所述第二非环境内容、或所述默认混音的所述第二非环境内容与所述默认混音的所述音频内容中的至少一些其它音频内容的混音；确定一组M个替换扬声器通道，其中，所述一组M个替换扬声器通道中的每个替换扬声器通道不指示所述基于对象的扬声器通道子组中的相应扬声器通道的内容，或指示所述基于对象的扬声器通道子组中的相应扬声器通道的一些而非全部的内容；生成元数据，所述元数据指示所述对象通道中的至少之一的内容与所述声床的所述扬声器通道和/或所述替换扬声器通道中的预定扬声器通道的内容的至少一个可选的预定备选混音，其中所述元数据包括针对每个所述备选混音的渲染参数，并且至少一个所述备选混音是指示所述声床的至少一些音频内容和所述第一非环境内容而非所述第二非环境内容的替换混音；以及生成包括所述扬声器通道声床、所述一组M个替换扬声器通道、所述对象通道组和所述元数据的所述基于对象的音频节目，使得在不使用所述元数据的情况下，所述扬声器通道声床是能够渲染的，以提供能被感知为所述默认混音的声音，以及所述替换混音是能够响应于至少一些所述元数据来渲染的，以提供能被感知为包括所述声床的所述至少一些音频内容和所述第一非环境内容而非所述第二非环境内容的混音的声音。