[发明专利]一种基于混合现实技术的ROS智能车交互方法

说明书

本发明公开了一种基于混合现实技术的ROS小车交互方法。本系统由本地端与远程端构成。本地端主要指HoloLens设备，用于显示与操作混合现实交互界面；远程端为一台ROS智能车，用于响应与实现交互功能。远程端与本地端通过局域网进行连接。操作者通过佩戴HoloLens眼镜，在混合现实交互界面做相关的操作，就可以实现ROS智能车有目的的运动控制。通过上述方法，本发明能够很大的加强了操作者在交互过程中的临场感和真实感，可以直观地观察出ROS智能车和真实场景的相对位置关系；同时明显改善ROS智能车的操作滞后问题，减轻了操作者操作的不适感，从而大大的提高了用户体验，有利于完成较为复杂的工作，提高了工作效率。

技术领域

本发明涉及移动机器人领域以及混合现实技术，具体涉及一种基于混合现实技术的ROS智能车交互方法。

背景技术

混合现实（MR）创造一种空间，可以实现物理对象和数字对象共存，并在现实场景，虚拟场景和操作者之间实时产生信息交互。以Microsoft的HoloLens为代表的的MR设备给操作者呈现最直观的感觉，可以实现以增强MR操作者真实感和临场感为目的的人车交互新体验。

与ROS智能车之间的交互是指，以一定的交互方式，为完成确定任务的人与智能车之间的信息交换过程。而在对智能车的实际遥操作过程中，例如手势交互以及语音交互等，大多数是单向的操控方式，不够自然；或者是由于信息传输存在时延人机交互界面不直观等问题，带来了操作的不适感，严重影响了操作者的工作效率，导致人与智能车之间的互动性较差。

发明内容

针对上述技术要求，本发明要提供一种基于混合现实技术的ROS智能车交互方法。

本发明拟公开一种基于混合现实技术的ROS智能车交互方法，包括用于获取控制信息的本地端和用于ROS智能车响应操作信息并执行对应操作的远程端，所述本地端主要是HoloLens眼镜构成，所述远程端是由搭载Linux平台ROS系统(下文简称“ROS系统”)的工控机进行控制的的智能小车；

首先进行本地端实施步骤：

步骤一：通过Unity设计好的项目文件通过Visual Studio部署至HoloLens端；

步骤二：操作者启动并佩戴HoloLens眼镜，开启HoloLens中部署的项目文件；

步骤三：在HoloLens全息图中，可以看见所设计的ROS智能车的数字模型和渲染的场景，但此时的ROS智能小车数字模型与实体是不匹配的；

步骤四：等待与远程端进行连接；

接下来开启远程端的实施步骤：

步骤五：ROS智能车的主体是ROS程序控制底盘履带电机使履带进行运动控制，包括底层设备的控制，常用函数的实现，还有发布ROS里程功能，通过IMU进行姿态融合，基于思岚A2雷达的SLAM方案，构建地图，进行导航以及避障；

步骤六：ROS系统启动基于WebSocket的通信模块，连接到HoloLens的ROS-Bridge服务器；

步骤七：服务器接收到连接请求后，开启端口，并订阅相关话题；

步骤八：采集HoloLens的深度图，将深度图转换为点云，在ROS智能车是放置Kinect V2相机，采取ROS智能车的点云信息；

步骤九：通过ROS智能车所搭载的工控机，利用算法将所得到点云信息的进行匹配，得到两者的坐标之间的刚体变换矩阵T_Trans，并将得到的刚体变换矩阵T_Trans通过TCP通讯传送至HoloLens端；

步骤十：由于T_Human与T_MRobot的位置转换矩阵可以已知的，加上T_Trans的转换矩阵，就可以计算出T_MRobot_1的转换矩阵；

步骤十一：将所得到的T_MRobot_1矩阵应用到HoloLens的混合现实界面的数字模型中，就可以实现Robot坐标系与Mrobot_1坐标系相重合，进而就可以在混合现实界面中可以将ROS智能小车的数字模型与实体相重合；