[发明专利]具有声音和几何分析的扩增现实

权利要求书

1.一种用于在移动装置的扩增现实AR应用中对外部声音作出响应的方法，所述方法包括：

检测目标；

在所述AR应用中起始虚拟对象；

通过所述移动装置的至少一个声音传感器从声音源接收所述外部声音；

确定所述声音源与所述目标之间的第一几何信息；以及

基于所述第一几何信息而产生所述虚拟对象在所述AR应用中执行的至少一个响应。

2.根据权利要求1所述的方法，其中确定所述第一几何信息包含：

确定所述移动装置与所述目标之间的第二几何信息；

确定所述移动装置与所述声音源之间的第三几何信息；以及

基于所述第二和第三几何信息来计算所述第一几何信息。

3.根据权利要求2所述的方法，其中所述第二几何信息包含所述移动装置与所述目标之间的距离以及所述目标与正交于所述移动装置的平面的轴线之间的角度中的至少一者。

4.根据权利要求2所述的方法，其中所述第三几何信息包含所述移动装置与所述声音源之间的距离以及所述声音源与正交于所述移动装置的平面的轴线之间的角度中的至少一者。

5.根据权利要求2所述的方法，其中所述第一几何信息包含所述目标与所述声音源之间的距离以及所述目标相对于所述移动装置和所述声音源而形成的角度中的至少一者。

6.根据权利要求2所述的方法，其中基于相机姿势估计来确定所述第三几何信息。

7.根据权利要求1所述的方法，其中产生所述至少一个响应包含：

从所述所接收的外部声音提取至少一个声音特征；

将所述所提取的声音特征识别为至少一个预定声音类别，其中所述至少一个预定声音类别与所述虚拟对象的所述至少一个响应相关联；以及

基于所述所识别的声音类别而产生所述虚拟对象的所述至少一个响应。

8.根据权利要求2所述的方法，其中接收所述外部声音包含：

确定所述外部声音是否是从两个或两个以上声音源接收；

如果所述外部声音是从所述两个或两个以上声音源接收，那么将所述所接收的外部声音分离为多个声音；

识别与所述多个经分离的声音相关联的额外声音源；以及

确定所述所识别的声音源与所述目标之间的第四几何信息。

9.根据权利要求8所述的方法，其中产生所述至少一个响应包含：

针对所述虚拟对象确定与所述所识别的声音源中的每一者相关联的所述至少一个响应，其中所述至少一个响应包含所述虚拟对象执行的动作或不活动；

确定所述虚拟对象的所述至少一个响应的次序；以及

基于所述所确定的次序而产生所述虚拟对象的所述至少一个响应。

10.根据权利要求1所述的方法，其中所述虚拟对象包含所述AR应用中的人物、人群和背景中的至少一者。

11.根据权利要求1所述的方法，其中所述确定第一几何信息包含确定所述声音源与所述目标之间的距离和方向。

12.根据权利要求1所述的方法，其中所述确定第一几何信息包含确定所述移动装置、所述目标与所述声音源的位置。

13.根据权利要求1所述的方法，其中接收所述外部声音包含：

确定所述外部声音是否是从两个或两个以上声音源接收；

如果所述外部声音是从所述两个或两个以上声音源接收，那么将所述所接收的外部声音分离为多个声音；

确定两个或两个以上声音源中的每一者与所述目标之间的第四几何信息；

将所述经分离的声音中的每一者识别为至少一个预定声音类别，其中所述至少一个预定声音类别与所述虚拟对象的所述至少一个响应相关联；以及

基于所述所识别的声音类别和所述第四几何信息中的至少一者而产生所述虚拟对象的所述至少一个响应。