[发明专利]基于增强现实AR的交互系统及交互方法

说明书

技术领域

本发明涉及智能机器人领域，具体而言，涉及基于增强现实AR的交互系统及交互方法。

背景技术

AR(Augmented Reality)，即增强现实。它通过计算机技术，将虚拟的信息应用到真实世界，真实的环境和虚拟的物体实时地叠加到了同一个画面或空间同时存在。目前AR技术已应用到某些实际场合中。例如，在进行机械安装、维修、调式时，通过头盔显示器，可以将原来不能呈现的机器内部结构，以及它的相关信息、数据通过AR技术完全呈现出来。并可以按照计算机的提示，来进行工作。在医疗方面，医生可以利用AR，轻易地进行手术部位的精确定位。而在军事方面，部队可以利用AR，进行方位的识别，获得目前所在地点的地理数据等重要军事数据。

然而，在智能机器人领域中尤其是在人机交互场合中还没有出现将AR技术与之进行结合的实际应用。

发明内容

本发明为解决上述技术问题，提供了一种基于增强现实AR的人机交互系统。该交互系统包括：

用户交互设备，其用以接收用户的交互指令并进行解析得到关于创建虚拟物体的信息；

增强现实AR投影设备，其与所述用户交互设备通信，用以根据所述关于创建虚拟物体的信息来创建三维虚拟物体，并将其投射到投视区进行显示，

其中，用户交互设备至少包括语音识别单元，其用以对用户的语音进行识别，以根据语音的内容确定出要虚拟的物体的三维信息和/或修改已创建的虚拟物体的三维信息以及所投射显示的空间位置信息。

根据本发明的交互系统，用户不仅可以与智能机器人进行常规的聊天交互，通过普通的方式向用户输出要显示的内容，还可以通过增强现实显示的方式让用户对显示的内容有更加真实的体验。比如，用户在与智能机器人进行关于旅游的聊天时，机器人可以通过增强现实的方式向用户显示出所建议的旅游目的地的景色。

根据本发明一个实施例，在基于增强现实AR的交互系统中，所述用户交互设备还包括视觉识别单元，其用以对识别区中用户做出的手势或者视觉范围内的物体进行识别，以确定或者修改要虚拟的物体的三维信息和/或空间位置信息。

根据本发明的一个实施例，在基于增强现实AR的交互系统中，还包括结构光发射机和用以追踪所述结构光发射机发出光线的结构光追踪器。

根据本发明的一个实施例，在基于增强现实AR的交互系统中，所述结构光发射机为手持设备，所述结构光追踪器安装在所述增强现实AR投影设备上，所述结构光追踪器与所述用户交互设备通讯，将追踪到的结构光信息发送到所述用户交互设备上，当所述结构光发射机所发出的光线是运动的，所述结构光追踪器将追踪的光线的轨迹传送到所述用户交互设备中，所述用户交互设备生成三维虚拟物体按照所述轨迹进行运动的信息并发送给所述增强现实AR投影设备进行投影。

根据本发明的一个实施例，在基于增强现实AR的交互系统中，所述用户交互设备单独或者与所述增强现实AR投影设备共同集成到机器人实体中。

根据本发明的一个实施例，在基于增强现实AR的交互系统中，所述语音识别单元中设置MIC阵列以捕获用户的声音。

通过将增强现实的显示技术结合到智能机器人中，使得智能机器人的多模态输出的方式出现了多样化，除了通过现有的语音反馈、动作反馈输出、显示屏反馈输出之外，智能机器人还可以通过增强现实的显示，将虚拟物体与当前实际场景结合，让用户具有更深层次的感官体验。

根据本发明的另一个方面，还提供了一种利用基于增强现实AR的交互系统进行交互的方法，该方法包括以下步骤：

通过用户交互设备接收用户发出的交互指令，解析交互指令中包含的关于创建虚拟物体的信息；

利用增强现实AR投影设备与所述用户交互单元的通信，用以根据所述关于创建虚拟物体的信息来创建三维虚拟物体，并将其投射到投视区进行显示，

其中，所述交互指令为语音指令，通过利用所述用户交互设备的语音识别单元根据语音的内容来确定出要虚拟的物体的三维信息和/或修改已创建的虚拟物体的三维信息以及所投射显示的空间位置信息。

根据本发明的一个实施例，在利用基于增强现实AR的交互系统进行交互的方法中，还包括通过所述交互设备中的视觉识别单元对识别区中用户做出的手势或者视觉范围内的物体进行识别，以确定或者修改要虚拟的物体的三维信息和/或空间位置信息。

根据本发明的一个实施例，在利用基于增强现实AR的交互系统进行交互的方法中，所述交互系统包括结构光发射机和用以追踪所述结构光发射机发出光线的结构光追踪器。