[发明专利]使用深度学习图像分析的房间声学仿真

说明书

一种方法包括：接收真实世界环境的图像；使用机器学习分类器，对所述图像进行分类以生成与用于声学环境仿真的声学预设置相关联的分类，所述声学预设置均包括表示声音混响的声学参数；以及基于所述分类，在所述声学预设置当中选择声学预设置。

优先权要求

本申请要求2018年12月24日提交的美国临时专利申请No.62/784,648的优先权，该申请的全部内容通过引用并入本文。

技术领域

本公开涉及对图像进行分类以用于增强现实。

背景技术

增强现实(AR)是合并真实世界和虚拟世界以生成新的环境和可视化，其中实际的或真实的物理对象和数字的或虚拟的对象共存，并且可以实时地相互作用。AR利用逼真的视觉和音频将虚拟世界带到用户的真实世界环境中。AR将来自虚拟声音对象的虚拟声音与真实的声学环境中的真实声音混合。来自虚拟声音对象的虚拟声音应与通过耳机向用户播放的等效的真实世界的声音匹配以确保令人愉快的AR体验。否则，用户经历AR体验的劣化。常规的技术使用复杂的多步处理来使虚拟声音与等效的真实世界的声音匹配。这样的复杂性将显著的听觉延迟引入到AR仿真中，这可能劣化用户体验。而且，该复杂性不利地提高了对于AR设备的处理要求，因此提高了AR设备的成本。

附图说明

图1A是被配置为向用户提供AR体验的示例性扩展现实(XR)系统的高级框图。

图1B是可以被用户穿戴并且被配置为向用户传递AR体验的示例性AR设备或系统的透视图。

图2是对于XR系统可以基于声学预设置仿真的环境的示例性声音响应的例示。

图3是可由XR系统执行的、与来自虚拟声音对象的声音的渲染组合的基于机器学习(ML)的分类的示例性方法的例示。

图4是使用ML分类将真实世界环境的图像直接分类到用于声学环境仿真的声学参数的声学预设置的示例性方法的流程图。

图5是使用ML分类将真实世界环境的图像分类到房间类型的示例性方法的流程图，然后可以从房间类型推导用于声学环境仿真的声学预设置。

图6是使用ML分类基于真实世界环境的场景及其相关联的声学预设置的高速缓存将真实世界环境的图像直接分类到用于声学环境仿真的声学参数的声学预设置的示例性方法的流程图。

图7是使用ML分类将真实世界环境的图像直接分类到用于声学环境仿真的一般/主要声学预设置和次要声学修改符的示例性方法的流程图。

图8是将图7的方法扩展到产生三维(3D)网格和从该3D网格的材料性质推导的声学参数的示例性方法的流程图。

图9A是基于根据第一训练场景的训练图像对XR系统的ML分类器进行训练并且ML分类器一旦被训练、就使用ML分类器来对图像进行分类的示例性方法的例示。

图9B是用于图9A的训练方法的预训练数据准备的例示。

图10是根据第二训练场景和第三训练场景对ML分类器进行训练的示例性方法的例示。

图11A是根据第四训练场景对ML分类器进行训练的示例性方法的例示。

图11B是包括背对背180^°鱼眼透镜并且在两个相机视角上捕捉房间的360^°图像的示例性图像传感器的例示。

图12是与图1A的XR处理器实施例相比、包括附加功能的示例性XR处理器的框图。

图13是可以在XR处理器中使用或者与XR处理器一起使用以基于声学参数执行环境仿真的示例性交互式音频引擎(LAE)的框图。

图14是可由图12的XR处理器执行的示例性声学参数改善处理的流程图。