[发明专利]使声学渲染适应基于图像的对象

权利要求书

1.一种使音频源的声学渲染适应场景中的对象的视觉渲染的方法，其中，该视觉渲染被提供给用户，其中，该视觉渲染是以下之一：

该对象的基于图像的表示在虚拟现实场景中的虚拟现实渲染，以及

该对象的基于图像的表示相对于现实生活场景的增强现实渲染，

该方法包括：

-生成与该对象的该基于图像的表示相关联的元数据，该元数据表示该对象的建模，该元数据定义该对象的几何形状的至少一部分并指示该对象的混响和/或吸收声学性质；

-通过以下步骤建立该音频源的该声学渲染：

将该音频源提供为声学场景中的空间音频源，该声学场景在几何上与该对象的该视觉渲染对齐；

基于该元数据，将该对象建立为该声学场景中的音频对象，该音频对象具有混响和/或吸收声学性质；以及

使用空间音频渲染技术渲染该声学场景，同时使该声学场景的该渲染适应该音频对象的该混响和/或吸收声学性质,其中渲染该声学场景包括基于该音频对象的几何形状、该音频对象的声学性质以及该音频对象在该声学场景内相对于该音频源的相对位置来计算反射。

2.根据权利要求1所述的方法，其中，该对象是具有至少一面墙壁的房间，并且其中，该元数据定义该房间的几何形状的至少一部分。

3.根据权利要求2所述的方法，其中，该元数据通过定义表示该房间的盒子模型来定义该房间的该几何形状的至少一部分。

4.根据权利要求1或2所述的方法，其中，该虚拟现实场景是全向图像。

5.根据权利要求1所述的方法，其中，该虚拟现实场景与第一轴系统相关联，其中，该虚拟现实场景在该第一轴系统中具有默认取向，其中，该元数据包括定义该对象的几何形状的至少一部分的一个或多个坐标，并且其中，该方法包括：

-在该第一轴系统与该一个或多个坐标之间建立空间对应关系；以及

-基于该空间对应关系将该对象建立为该声学场景中的该音频对象。

6.根据权利要求5所述的方法，其中，生成该元数据包括：

-将该对象的该几何形状的至少一部分定义为不同于该第一轴系统的第二轴系统中的坐标；

-确定该第一轴系统与该第二轴系统之间的空间对应关系；以及

-生成该元数据，或者生成与该元数据相关联的其他元数据，以指示该空间对应关系。

7.根据权利要求5所述的方法，其中，生成该元数据包括在该第一轴系统中定义该一个或多个坐标。

8.根据权利要求1所述的方法，其中，生成该元数据包括分析以下各项中的一项或多项：

-该场景的基于图像的表示；

-该对象的该基于图像的表示；以及

-与任一基于图像的表示相关联的深度信息；

使用图像分析技术或计算机视觉技术来获得该对象的建模。

9.根据权利要求1所述的方法，其中，生成该元数据包括经由用户界面从用户获得指示该对象的几何形状的用户输入。

10.根据权利要求1所述的方法，其中，生成该元数据包括指示该混响和/或吸收声学性质。

11.根据权利要求10所述的方法，其中，生成该元数据包括通过指示该对象的材料或通过直接定义该混响和/或吸收声学性质来指示该混响和/或吸收声学性质。

12.根据权利要求1所述的方法，进一步包括在服务器处生成该元数据并将该元数据提供给被配置用于建立该音频源的该声学渲染的接收方。

13.根据权利要求1所述的方法，其中，该音频源表示多用户通信会话的音频，并且其中，该虚拟现实场景表示该多用户通信会话的虚拟背景。