[发明专利]用于基于音频的增强现实的系统和方法

权利要求书

1.一种计算机实现的方法，包括：

由计算设备接收用户请求，以识别所述计算设备所处环境的至少一个对象；

由所述计算设备接收所述至少一个对象的分类；

由所述计算设备将基于所述至少一个对象的分类的音频标签放置在所述环境的表示中，其中，所述音频标签与用户感知到是从所述至少一个对象发出的声音相关联；

由所述计算设备的音频AR交互模块接收关于所述环境的对象的口头问题；

由所述计算设备基于机器学习模型的级联或知识库图谱中的一个或更多个来生成所述问题的答案；以及

基于所述答案，用第二音频标签替换所述音频标签，其中，所述第二音频标签与用户感知到是从所述至少一个对象发出的声音相关联。

2.根据权利要求1所述的计算机实现的方法，还包括：

由所述计算设备基于用户设备的位置和定向来生成所述用户感知到的声音。

3.根据权利要求1所述的计算机实现的方法，还包括：

由所述计算设备对所述计算设备所处环境的表示内的声波传播进行建模；和

由所述计算设备基于所述声波传播的建模来生成音频空间化数据。

4.根据权利要求3所述的计算机实现的方法，还包括：

由所述计算设备基于所述音频空间化数据来生成所述用户感知到的声音。

5.根据权利要求1所述的计算机实现的方法，还包括：

由所述计算设备接收所述计算设备所处环境的一个或更多个捕获图像；

由所述计算设备从所述计算设备的一个或更多个传感器接收传感器数据；和

由所述计算设备基于所述一个或更多个捕获图像和所述传感器数据来生成所述计算设备所处环境的表示。

6.根据权利要求5所述的计算机实现的方法，其中，所述一个或更多个传感器包括加速度计、陀螺仪或磁力计中的一个或更多个。

7.根据权利要求5所述的计算机实现的方法，其中，所述计算设备所处环境的表示是稀疏三维地图表示。

8.根据权利要求1所述的计算机实现的方法，还包括：

由所述计算设备跟踪所述计算设备在所述计算设备所处环境内的位置。

9.根据权利要求1所述的计算机实现的方法，其中，接收所述至少一个对象的分类还包括：

由所述计算设备访问机器学习模型的级联中的一个或更多个机器学习模型。

10.一种系统，包括：

至少一个处理器；和

存储器，其存储指令，所述指令当由所述至少一个处理器执行时使得所述系统执行：

接收用户请求，以识别所述系统所处环境的至少一个对象；

接收所述至少一个对象的分类；和

将基于所述至少一个对象的分类的音频标签放置在所述环境的表示中，其中，所述音频标签与用户感知到是从所述至少一个对象发出的声音相关联；

由所述系统的音频AR交互模块接收关于所述环境的对象的口头问题；

基于机器学习模型的级联或知识库图谱中的一个或更多个来生成所述问题的答案；以及

基于所述答案，用第二音频标签替换所述音频标签，其中，所述第二音频标签与用户感知到是从所述至少一个对象发出的声音相关联。

11.根据权利要求10所述的系统，其中，所述指令当由所述至少一个处理器执行时还使得所述系统执行：

对所述系统所处环境的表示内的声波传播进行建模；和

基于所述声波传播的建模来生成音频空间化数据。