[发明专利]通过3D音频定位来生成虚拟或增强现实呈现的方法和装置

权利要求书

1.一种用于根据具有原始音频部分和视觉部分的内容来生成3D呈现的装置，所述内容包括多个场景，每个场景与具有音频特性的相应环境相关联，所述装置包括：

音频处理器，接收所述音频部分和指示所述相应环境的环境参数，所述音频处理器被配置为基于所述环境参数将所述原始音频部分修改为经修改的音频部分；

编著工具，接收所述经修改的音频部分和所述原始视频部分并且生成相应的编码系数；以及

编码器，接收所述原始视频部分和所述经修改的音频部分并且基于所述编码系数生成编码内容。

2.根据权利要求1所述的装置，其中所述3D呈现在具有影院声学参数的影院中被呈现，所述装置还包括存储所述影院声学参数的声学存储器，并且所述音频处理器被配置为接收所述影院声学参数以生成所述经修改的音频部分。

3.根据权利要求2所述的装置，还包括适于感测所述影院声学参数的声学环境传感器，所述声学环境传感器感测的信号被存储在所述声学存储器中。

4.根据权利要求1所述的装置，其中所述编码器被配置为生成VR(虚拟现实)编码内容以在VR设备上呈现，其中所述视频部分定义至少第一虚拟场景，所述第一虚拟场景具有包含虚拟声学环境特性的虚拟环境，并且其中所述音频处理器被配置为接收所述虚拟声学环境特性并且生成限定为所述虚拟场景配置的音轨的系数。

5.根据权利要求4所述的装置，还包括被配置为分析在所述第一虚拟场景中定义的VR环境的环境分析器，所述环境分析器生成所述虚拟环境声音以存储在所述声学存储器中。

6.根据权利要求1所述的装置，其中所述编码器被配置为基于所接收的内容和从当前环境获取的内容来生成AR(增强现实)编码内容以用于在AR设备上呈现，其中所述视频部分定义包括虚拟和真实元素的至少第一AR场景，并且所述音频处理器被配置为接收所述第一AR场景的虚拟和真实音频部分和声学特性，所述音频处理器生成描述被配置为匹配所述第一AR场景的声学特性的音频信号的系数。

7.根据权利要求6所述的装置，其中所述音频处理器生成描述包括与所述第一AR场景相关联的环境信号的音频信号的系数。

8.根据权利要求6所述的装置，还包括检测与观看者的当前位置相关联的真实环境的真实环境检测器和被配置为确定所述真实环境的声学参数的声学环境检测器。

9.根据权利要求8所述的装置，其中所述真实环境检测器包括GPS。

10.根据权利要求8所述的装置，其中所述真实环境检测器包括适于产生与所述当前位置相关联的图像的相机和分析所述图像以确定所述声学参数的分析器。

11.根据权利要求8所述的装置，其中所述真实环境检测器包括生成测试信号的声音发生器和被布置为检测源自所述声音检测器的回声的传声器，所述声学环境检测器适于分析所述回声。

12.一种用于生成编码的3D呈现的方法，包括：

接收具有若干3D场景并且包括音频和视觉轨迹的3D内容；

确定在其中呈现所述3D呈现的本地环境和一个所述3D场景的虚拟位置之一的声学特性；

修改所述音轨以基于所述声学特性生成经修改的轨迹；

使用至少部分依赖于所述音频空间参数的编码系数来编码所述3D内容以生成编码的3D呈现，所述编码的3D呈现包括视觉部分和音频部分，所述音频部分是从所述经修改的音轨导出的。

13.根据权利要求12所述的方法，其中所述3D呈现在影院中被呈现，并且所述确定的步骤包括确定所述影院的声学特性。