[发明专利]一种人机交互方法及基于骨传导交互的AR眼镜

权利要求书

1.一种人机交互方法，应用于AR眼镜，所述AR眼镜包括镜架和镜片，其特征在于，所述镜片上显示有光标以及一个或多个UI元素，所述镜架上至少安装有一颗骨传导麦克风，所述人机交互方法，包括：

以预设间隔获取光标的坐标以及获取时的系统时间，判断光标的坐标与UI元素的坐标是否存在交集；

若光标的坐标与UI元素的坐标存在交集，则记录交集时光标的坐标和系统时间，并获取所述骨传导麦克风输出的实时音频，将实时音频与预采集的叩齿音频进行特征匹配，得到匹配结果；

根据所述匹配结果生成交互事件；

根据交互事件以及交集时光标的坐标和系统时间执行对应的交互动作。

2.如权利要求1所述的人机交互方法，其特征在于，所述人机交互方法还包括：

使用者初次使用AR眼镜时，引导使用者做叩齿动作，通过骨传导麦克风采集使用者做叩齿动作时产生的声音，提取所述声音中的叩齿音频作为所述预采集的叩齿音频。

3.如权利要求2所述的人机交互方法，其特征在于，所述提取声音中的叩齿音频时，采用record算法进行提取，所述record算法包括：

读取骨传导麦克风输入的音频流；

搜索音频流中最大数所在的索引n，以索引n为起点向前推进a个数得到n1，以索引n为起点向后推进b个数得到n2，截取音频流中索引n1至n2之间的数作为原始匹配音；

对所述原始匹配音进行降噪处理，包括：取原始匹配音进行快速傅里叶变换，并将零频分量移动至频谱中心，将移动后的音频的两端去除，对去除两端后的音频进行反傅里叶变换，取反傅里叶变换后得到的实部作为叩齿音频。

4.如权利要求1所述的人机交互方法，其特征在于，所述将实时音频与预采集的叩齿音频进行特征匹配，得到匹配结果时，采用TeethClick算法进行匹配，所述TeethClick算法包括：

读取预采集的叩齿音频，对预采集的叩齿音频进行预处理，得到第一数据集；

获取实时音频，对实时音频进行预处理，得到第二数据集；

计算所述第一数据集和第二数据集之间的协方差cov；

计算所述第一数据集的均方根d1，以及第二数据集的均方根d2；

计算叩齿音频和实时音频的相关度coe，coe＝abs(cov)/(d1*d2)；

若所述相关度coe大于相关阈值，则匹配结果为匹配成功；反之则匹配结果为匹配失败；

所述预处理包括：对输入的音频进行快速傅里叶变换，将快速傅里叶变换后的音频中的零频分量移动至频谱中心并取绝对值，取绝对值后得到的音频的后一半进行归一化处理，得到数据集。

5.如权利要求4所述的人机交互方法，其特征在于，所述交互事件包括单击事件和双击事件，所述根据匹配结果生成交互事件，包括：

获取匹配结果，若匹配结果为匹配成功，则获取上一次交集时的得到矩形区域和系统时间，若上一次交集时的矩形区域为空，则生成一个单击事件，并以本次交集时光标和UI元素的交集坐标为中心在UI元素上计算得到一个矩形区域；

若上一次交集时的矩形区域不为空，则以本次交集时光标和UI元素的交集坐标为中心在UI元素上计算得到一个矩形区域；并计算本次交集的系统时间与上一次交集的系统时间的时间间隔，若时间间隔大于间隔阈值，则生成一个单击事件；若时间间隔小于或等于间隔阈值，则判断本次交集的光标坐标是否位于上一次交集得到的矩形区域内；若本次交集的光标坐标位于上一次交集得到的矩形区域内，则生成一个单击事件的同时生成一个双击事件；反之则生成一个单击事件；

若匹配结果为匹配失败，则继续进行下一个实时音频的匹配。