[实用新型]一套基于感兴趣区实现辅助信息提示的人机接口设备

说明书

技术领域：

本实用新型涉及增强现实及人工智能技术领域，具体地讲是一套基于感兴趣区实现辅助信息提示的人机接口设备，分别采用数字摄像机或电磁跟踪器为输入设备、以可透视的头戴式显示器See-Through HMD为输出设备，目标是向用户实时提供辅助信息。

背景技术：

随着虚拟现实技术、增强现实技术及人工智能技术的发展，以智能人机系统为形式的计算机辅助教学、计算机辅助训练、计算机辅助维修、计算机辅助制造等逐步应用于包括国防、工业、教育、医学、娱乐在内的各个领域。在这些人机系统中，普通存在两个需要考虑的问题：一是人机接口问题，即用户在正常的训练、维修等操作中，经常不方便腾出手来使用键盘或鼠标进行输入；虽然语音输入可以免除用户手动操作，但语音识别技术在应用中对大词汇量、非特定词汇的识别率并不高，也不适用于嘈杂环境；肢体语言识别也是目前比较常见的一种人机交互方式，在很多游戏中都广泛采用，但对于座舱、操作台等工作环境经常不适合采用；所以，一套更稳定、可靠且精确的，可以免除用户动手操作的人机接口在很多应用中都非常必要；二是如何快速识别用户所看到的目标，进而向用户提供感兴趣的辅助信息。

现有技术的辅助信息提示系统的使用方式是用户需要先确定需要辅助信息提示的对象，根据该对象的特征对相关技术资料（可以是电子版的）进行检索，然后以文字、图像、视频、声音等形式获得辅助信息，其主要时间浪费在根据对象特征进行信息检索的过程中，尤其是在资料量大、所需辅助信息多的情况下，这种辅助信息的获取方式效率很低。

发明内容：

本实用新型的目的是克服上述已有技术的不足，提供一套基于感兴趣区实现辅助信息提示的人机接口设备，主要解决现有的人机接口设备的语音输入不够可靠精确和肢体语言识别适用范围窄以及向用户提供感兴趣的提示信息效率低等问题。

本实用新型的技术方案是：一套基于感兴趣区实现辅助信息提示的人机接口设备，其特殊之处在于它包括传感器、计算机和可透视的头戴式显示器See-Through HMD，传感器和可透视的头戴式显示器See-Through HMD分别与计算机通过线路连接。

进一步，所述的人机接口设备还包括外加供电模块。

进一步，所述的传感器为摄像机，佩戴在用户头部，摄像机视野的方向和范围应尽可能与用户视野重叠。

进一步，所述的传感器为电磁跟踪器，电磁跟踪器的电磁场敏感终端佩戴在用户头部；电磁跟踪器的电磁场敏感终端与用户头部的相对位置关系应固定。

进一步，所述的计算机根据具体应用环境的需要，可以是普通台式机、便携式计算机、可穿戴式计算机或图形工作站等高级计算机。

进一步，所述可透视的头戴式显示器See-Through HMD是辅助信息的输出设备，与计算机相连，根据需要，在计算机和可透视的头戴式显示器See-Through HMD之间设视频适配器。

本实用新型提出了分别采用摄像机或电磁跟踪器为输入设备、以可透视的头戴式显示器为输出设备的两种先进人机接口实现方法；方法一是以摄像机为传感器，采用数字图像处理算法实现对用户视线的初步跟踪，再采用基于多模板的特征匹配算法准确识别出用户感兴趣的目标对象；方法二是预先建立目标所处空间（如飞机座舱）的三维数字模型，以电磁跟踪器为传感器，经校准后采用坐标变换实现对用户视线的精确跟踪，进而计算视线与空间模型的交点来识别出用户感兴趣的目标对象。对于两种方法，最终用户感兴趣对象的辅助提示信息均输出到微型头盔显示器上。

实现本实用新型的一套基于感兴趣区实现辅助信息提示的人机接口设备的一种方法，包括如下步骤：

⑴ 以工作对象为基准建立坐标系，进而建立目标对象组的三维空间数字模型，确定目标对象间的空间位置关系；

⑵ 利用各个目标对象的图像制作可用于特征匹配的模板组；

⑶ 利用Mean Shift等跟踪算法实现对用户视线的初步跟踪，从而缩小特征匹配时模板搜索的范围；

⑷ 根据用户视线的停留时间确定感兴趣区；

⑸ 从摄像机中获取帧图像作为特征匹配的匹配图像；

⑹ 在以感兴趣区为中心的一定范围内搜索模板图像，对搜索到的各个模板图像逐一与匹配图像进行特征匹配，其中匹配度最高的目标对象作为用户感兴趣对象；

⑺ 将用户感兴趣对象对应的提示信息显示在微型头盔显示器上。

实现本实用新型的一套基于感兴趣区实现辅助信息提示的人机接口设备的另一种方法，包括如下步骤：

⑴ 以工作对象为基准建立坐标系，进而建立目标对象组的三维空间数字模型；