[发明专利]一种人机交互方法及基于骨传导交互的AR眼镜

说明书

本发明公开了一种人机交互方法及基于骨传导交互的AR眼镜，应用于AR眼镜，AR眼镜包括镜架和镜片，镜片上显示有光标以及UI元素，镜架上至少安装有一颗骨传导麦克风，人机交互方法包括：以预设间隔获取光标的坐标以及获取时的系统时间，判断光标的坐标与UI元素的坐标是否存在交集；若光标的坐标与UI元素的坐标存在交集，则记录交集时光标的坐标和系统时间，并获取骨传导麦克风输出的实时音频，将实时音频与预采集的叩齿音频进行特征匹配，得到匹配结果；根据匹配结果生成交互事件；根据交互事件以及交集时光标的坐标和系统时间执行对应的交互动作。本发明实现低延迟、低功耗、高效率的交互，解决了目前AR眼镜交互不便或计算资源消耗较高的问题。

技术领域

本申请属于AR眼镜技术领域，具体涉及一种人机交互方法及基于骨传导交互的AR眼镜。

背景技术

AR眼镜是通过眼镜光学成像，由于它没有触摸屏，不能像手机那样在触摸屏上点击交互。因此，如何设计一种简易便捷的交互装置成为AR领域亟待突破的重大问题之一。许多研究人员在交互装置和方法上进行了多年探索，形成几种主流的交互方法，主要有：无线手柄交互装置、自然语言语音交互、手势交互等。这些交互方式丰富了AR体验，但仍然存在一些缺陷。如，用无线手柄需要时刻携带并手持这一配件，整体使用不方便；基于计算机视觉的手势识别占用了大量计算资源，导致性能降低，发热大，电池消耗很快；自然语言交互则录制指令时间长，效率低，依赖联网处理，完成单次交互等待时间较长。

现有的语音交互技术中，普遍应用的是自然语言语音交互技术。它的交互方式通常需要用户组织语言说出一些特定的指令，然后AR眼镜将包含该语音指令的音频剪辑，并通过网络发送到云端进行识别以提高识别准确率，最后返回语音识别结果到AR眼镜，AR眼镜再执行相关命令。

但是，采用自然语言交互技术存在诸多缺点，一是还不能实现在任意界面进行快速点击等简单交互；二是需要录制较长时间的自然语言指令，通常单次最短录制时间为3秒及以上，且依赖网络识别，延时大，人机交互操作效率低；三是识别错误率较高，即便是发送到云端语音识别，错误也时有发生；四是私密性差，语音交互对话容易泄露隐私机密或打扰到他人。

发明内容

本申请的目的在于提供一种人机交互方法及基于骨传导交互的AR眼镜，通过骨传导麦克风对人的叩齿声音进行采集，提取用户叩齿声特征作为目标匹配音，用户可用叩齿动作模拟交互中的点击等操控事件，实现低延迟、低功耗、高效率的交互，解决了目前AR眼镜交互不便或计算资源消耗较高的问题。

为实现上述目的，本申请所采取的技术方案为：

一种人机交互方法，应用于AR眼镜，所述AR眼镜包括镜架和镜片，所述镜片上显示有光标以及一个或多个UI元素，所述镜架上至少安装有一颗骨传导麦克风，所述人机交互方法，包括：

以预设间隔获取光标的坐标以及获取时的系统时间，判断光标的坐标与UI元素的坐标是否存在交集；

若光标的坐标与UI元素的坐标存在交集，则记录交集时光标的坐标和系统时间，并获取所述骨传导麦克风输出的实时音频，将实时音频与预采集的叩齿音频进行特征匹配，得到匹配结果；

根据所述匹配结果生成交互事件；

根据交互事件以及交集时光标的坐标和系统时间执行对应的交互动作。

作为优选，所述人机交互方法还包括：

使用者初次使用AR眼镜时，引导使用者做叩齿动作，通过骨传导麦克风采集使用者做叩齿动作时产生的声音，提取所述声音中的叩齿音频作为所述预采集的叩齿音频。

作为优选，所述提取声音中的叩齿音频时，采用record算法进行提取，所述record算法包括：

读取骨传导麦克风输入的音频流；