[发明专利]一种基于增强现实的人机交互方法及人机交互设备

权利要求书

1.一种基于增强现实的人机交互方法，其特征在于，步骤包括：

S1.被控机器人实时采集所处环境的实景图像，并根据所述实景图像构建对应的环境地图，将所述实景图像以及构建的环境地图回传至控制端；

S2.控制端接收被控机器人回传的所述实景图像、环境地图，对所述实景图像进行目标检测，定位出目标所在区域并获取目标的位置信息存储至所述环境地图中，根据获取的所述目标的位置信息在所述实景图像中使用增强现实方法叠加标注信息以对目标进行标注。

2.根据权利要求1所述的基于增强现实的人机交互方法，其特征在于，所述步骤S2中对所述实景图像进行目标检测的步骤包括：

S21.对所述实景图像进行图像分割，定位得到目标所在的像素区域；

S22.获取所述实景图像的深度图像，根据所述深度图像以及步骤S21确定的目标所在的像素区域定位到目标的位置，获取得到目标的位置信息并存储至所述环境地图中。

3.根据权利要求2所述的基于增强现实的人机交互方法，其特征在于，所述步骤S21中使用全卷积神经网络方法进行目标像素级的图像分割；所述步骤S22中具体使用分割掩模与所述深度图像获取目标相对相机的位置信息进行存储。

4.根据权利要求1或2或3所述的基于增强现实的人机交互方法，其特征在于，所述步骤S2中将目标的位置信息存储至所述环境地图中时，具体在获取得到目标的位置信息后，计算目标在世界坐标系下与目标周围地图点的相对位置，将地图点索引与所述相对位置作为目标的位置信息进行存储。

5.根据权利要求1或2或3所述的基于增强现实的人机交互方法，其特征在于，所述步骤S2中使用增强现实方法叠加标注信息时，提取所有所存储在世界坐标系下的目标点的位置信息，并根据被控机器人中图像采集设备的当前位姿解算出各目标点在图像采集设备坐标系下的位置信息，根据解算出的位置信息在所述实景图像的对应位置处叠加所需的标注信息以标注各目标点。

6.根据权利要求5所述的基于增强现实的人机交互方法，其特征在于，所述步骤S2还包括当解算出的目标点的位置信息不在被控机器人的图像采集设备的当前视野下时，根据目标点的位置信息将目标重投影到当前的图像坐标系下，根据重投影计算得到的位置在所述实景图像中叠加用于指示目标方向的方向信息。

7.根据权利要求6所述的基于增强现实的人机交互方法，其特征在于，所述步骤S2还包括当目标重新出现在被控机器人的图像采集设备的当前视野下时，根据目标点的位置信息重新在所述实景图像中叠加目标的标注信息。

8.根据权利要求1或2或3所述的基于增强现实的人机交互方法，其特征在于，所述步骤S1中建立所述环境地图时，使用基于特征的SLAM方法计算地图数据并实时获取被控机器人中图像采集设备的位姿信息，以地图点和关键帧的形式表示世界模型。

9.根据权利要求8所述的基于增强现实的人机交互方法，其特征在于，还包括根据实景图像的实时更新数据对所述世界模型进行更新优化的步骤。

10.一种基于增强现实的人机交互设备，包括被控机器人以及控制端，被控机器人上设置有用于图像采集的图像采集设备，其特征在于，所述被控机器人以及控制端被编程以执行权利要求1～9中任意一项所述的基于增强现实的人机交互方法的步骤。