[发明专利]具有声音和几何分析的扩增现实

说明书

相关申请案的交叉参考

本申请案是基于2012年8月15日申请的第13/585,927号美国申请案以及2012年1月12日申请的第61/585,945号美国临时专利申请案，且主张所述申请案的优先权权益，所述申请案的全部内容以引用的方式并入本文中。

技术领域

本发明大体上涉及在移动装置中实施扩增现实。更具体来说，本发明涉及基于外部声音在移动装置的扩增现实环境中产生对虚拟对象的响应。

背景技术

最近，移动装置的使用已由于它们在便携性和功能性方面的便利而广泛增加。同时，消费者对娱乐和现实应用的需求已与移动装置的广泛使用一起增加。为了提供娱乐和现实应用，一些移动装置提供扩增现实技术。

扩增现实(“AR”)是旨在将现实世界环境与数字信息进行合并的一类型虚拟现实。不同于在虚拟空间中提供虚拟对象的典型虚拟现实，一种扩增现实系统产生将由用户观看的现实世界图像与计算机产生的图像进行组合以用额外信息扩增现实世界图像的复合视图。

除了提供视觉扩增现实之外，一些AR环境已提供了用以辨识移动装置的外部声音的能力。然而，此类AR环境通常尚未充分反映外部声音环境。因此，这些AR环境可能未为用户提供充分水平的现实。举例来说，在常规的AR环境中，AR对象可仅好像所有外部声音源自移动装置一样作出反应。因此，此些AR应用尚未为用户提供令人满意的扩增现实体验。

发明内容

本发明提供用于在移动装置的扩增现实(AR)应用中对外部声音作出响应的方法和设备。在这些方法和设备中，基于所接收的外部声音，确定移动装置间的几何信息、目标以及外部声音的声音源。随后基于几何信息来产生虚拟对象在AR应用的AR环境中执行的响应。

根据本发明的一个方面，揭示一种用于在移动装置的扩增现实(AR)应用中对外部声音作出响应的方法。所述方法包含检测目标。在所述AR应用中起始虚拟对象。此外，通过所述移动装置的至少一个声音传感器从声音源接收所述外部声音。确定所述声音源与所述目标之间的第一几何信息，且基于所述第一几何信息而产生所述虚拟对象在所述AR应用中执行的至少一个响应。本发明还描述与此方法相关的装置、装置的组合，以及计算机可读媒体。

根据本发明的另一方面，揭示一种用于在扩增现实(AR)应用中对外部声音作出响应的装置。所述装置包含传感器和控制单元。包含图像传感器和至少一个声音传感器的所述传感器经配置以接收包含目标的图像以及来自一个声音源的外部声音。所述控制单元包含目标对象检测器、应用起始单元、几何信息计算单元以及AR响应产生器。所述目标对象检测器经配置以检测图像中的目标。所述应用起始单元经配置以响应于所检测到的目标而在AR应用中起始虚拟对象。所述几何信息计算单元经配置以确定一个声音源与目标之间的第一几何信息。而且，由所述AR响应产生器基于所述第一几何信息产生所述虚拟对象在所述AR应用中执行的至少一个响应。

附图说明

在结合附图进行阅读时，参考以下详细描述将理解本发明的发明性方面的实施例。

图1说明现实世界环境的图，其中根据本发明的一个实施例在移动装置中执行扩增现实(AR)应用。

图2A和2B说明根据本发明的一个实施例在移动装置中观看和终止扩增现实环境的图。

图3说明根据本发明的一个实施例的对来自声音源的外部声音作出响应的虚拟对象的图。

图4说明根据本发明的一个实施例的用于将扩增现实环境提供给用户的移动装置的框图。

图5说明根据本发明的一个实施例的用于将扩增现实环境提供给用户的移动装置的控制单元的框图。

图6是说明根据本发明的一个实施例的用于基于外部声音而产生将由虚拟对象执行的响应的方法的流程图。

图7A和7B是说明根据本发明的一个实施例的基于外部声音而产生将由虚拟对象执行的响应的图。

图8A和8B是说明根据本发明的一个实施例的确定目标、声音源与移动装置之间的几何关系的图。

图9A和9B是说明根据本发明的另一实施例的基于外部声音而产生将由虚拟对象执行的AR响应的图。

图10A和10B是说明根据本发明的另一实施例的基于外部声音而产生将由虚拟对象执行的AR响应的图。

图11是说明根据本发明的一个实施例的用于基于AR环境中的外部声音而产生将由虚拟对象执行的响应的方法的流程图。