[发明专利]一种AR眼镜及其声源虚拟重定位方法和装置

说明书

本发明实施例公开一种AR眼镜及其声源虚拟重定位方法和装置。所述的方法包括：利用TOF相机对AR眼镜佩戴者的手势动作进行实时追踪识别；在识别到第一手势动作后，开启麦克风阵列的音频采集功能；利用麦克风阵列检测AR眼镜佩戴者周围真实世界中的声源位置及对应位置的声源信号；在AR眼镜的镜片上标记出检测到的每个声源的声源位置；在识别到第二手势动作后，根据第二手势动作的起始位置锁定目标声源；对第二手势动作进行跟踪，将第二手势动作的结束位置确定为目标声源的虚拟重定位位置；模拟目标声源在所述虚拟重定位位置处发声，得到目标声源虚拟重定位的声源信号，通过双声道入耳式耳机输出给AR眼镜佩戴者。本发明实现了AR眼镜在音频上的增强现实。

技术领域

本发明涉及增强现实(Augmented Reality，AR)技术领域，尤其涉及一种AR眼镜及其声源虚拟重定位方法和装置。

背景技术

AR技术是利用计算机生成一种逼真的视、听、力、触和动等感觉的虚拟信息，将虚拟信息放在真实世界中展现，并且让人和虚拟信息进行互动。

基于AR技术的AR眼镜，其佩戴者不仅可以看见真实世界对象，还可以看见产生的虚拟对象，如同在真实世界中存在一样。除了视觉上的增强现实外，AR眼镜佩戴者还可以通过多个麦克风收音来获取周围真实世界中的环境声音，而且还可以使用虚拟音频来改善真实世界。

针对真实世界中多个声源的嘈杂环境，AR眼镜佩戴者可能会希望仅获取其中的一个或部分声源的声音，并且还希望将其感兴趣的真实声源虚拟重定位到指定位置或中心位置，从而更好的关注感兴趣的声源和获得更好的听觉感受，实现音频上的增强现实。因此，存在辅助AR眼镜佩戴者更好的关注感兴趣的声源和获得更好的听觉感受的需求，实现音频上的增强现实。

发明内容

本发明实施例提供了一种AR眼镜及其声源虚拟重定位方法和装置，旨在辅助AR眼镜佩戴者更好的关注感兴趣的声源和获得更好的听觉感受，实现音频上的增强现实。

依据本发明的第一方面，提供了一种AR眼镜的声源虚拟重定位方法，所述AR眼镜具有TOF相机、麦克风阵列和双声道入耳式耳机，所述方法包括：

利用TOF相机对AR眼镜佩戴者的手势动作进行实时追踪识别；

在识别到第一手势动作后，开启麦克风阵列的音频采集功能；

利用麦克风阵列检测AR眼镜佩戴者周围真实世界中的声源位置及对应位置的声源信号；

在AR眼镜的镜片上标记出检测到的每个声源的声源位置；

在识别到第二手势动作后，根据所述第二手势动作的起始位置锁定目标声源；

对所述第二手势动作进行跟踪，将所述第二手势动作的结束位置确定为所述目标声源的虚拟重定位位置；

模拟所述目标声源在所述虚拟重定位位置处发声，得到所述目标声源虚拟重定位的声源信号；

将所述目标声源虚拟重定位的声源信号通过双声道入耳式耳机输出给AR眼镜佩戴者。

依据本发明的第二方面，提供了一种AR眼镜的声源虚拟重定位装置，所述AR眼镜具有TOF相机、麦克风阵列和双声道入耳式耳机，所述装置包括：

手势追踪识别单元，用于利用TOF相机对AR眼镜佩戴者的手势动作进行实时追踪识别；

音频采集开启单元，用于在识别到第一手势动作后，开启麦克风阵列的音频采集功能；

声源信息检测单元，用于利用麦克风阵列检测AR眼镜佩戴者周围真实世界中的声源位置及对应位置的声源信号；

声源位置标记单元，用于在AR眼镜的镜片上标记出检测到的每个声源的声源位置；