[发明专利]一种基于混合现实技术的ROS智能车交互方法

权利要求书

1.一种基于混合现实技术的ROS智能车交互方法，其特征在于，包括用于获取控制信息的本地端和用于ROS智能车响应操作信息并执行对应操作的远程端，所述本地端包括HoloLens眼镜，所述远程端是由搭载Linux平台ROS系统的工控机进行控制的的智能小车，

首先进行本地端实施步骤：

步骤一：通过Unity设计好的项目文件通过Visual Studio部署至HoloLens端；

步骤二：操作者启动并佩戴HoloLens眼镜，开启HoloLens中部署的项目文件；

步骤三：在HoloLens全息图中，可以看见所设计的ROS智能车的数字模型和渲染的场景，但此时的ROS智能小车数字模型与实体是不匹配的；

步骤四：等待与远程端进行连接；

接下来开启远程端的实施步骤：

步骤五：ROS智能车的主体是ROS程序控制底盘履带电机使履带进行运动控制，包括底层设备的控制，常用函数的实现，还有发布ROS里程功能，通过IMU进行姿态融合，基于思岚A2雷达的SLAM方案，构建地图，进行导航以及避障；

步骤六：ROS系统启动基于WebSocket的通信模块，连接到HoloLens的ROS-Bridge服务器；

步骤七：服务器接收到连接请求后，开启端口，并订阅相关话题；

步骤八：采集HoloLens的深度图，将深度图转换为点云，在ROS智能车是放置Kinect V2相机，采取ROS智能车的点云信息；

步骤九：通过ROS智能车所搭载的工控机，利用算法将所得到点云信息的进行匹配，得到两者的坐标之间的刚体变换矩阵T_Trans，并将得到的刚体变换矩阵T_Trans通过TCP通讯传送至HoloLens端；

步骤十：由于T_Human与T_MRobot的位置转换矩阵可以已知的，加上T_Trans的转换矩阵，就可以计算出T_MRobot_1的转换矩阵；

步骤十一：将所得到的T_MRobot_1矩阵应用到HoloLens的混合现实界面的数字模型中，就可以实现Robot坐标系与Mrobot_1坐标系相重合，进而就可以在混合现实界面中可以将ROS智能小车的数字模型与实体相重合；

步骤十二：届时，MR操作者就可以通过手势来拖动全息图中的数字模型来控制远程端的ROS智能车；

步骤十三：当拖动全息图中的小车数字模型时，HoloLens发布目标位置信息；

步骤十四：根据ROS通信格式，对ROS系统接收到来自HoloLens的目标位置信息进行处理；

步骤十五：通过ROS中的Action机制向 Navigation 栈发布目标点位置；

步骤十六：ROS智能车导航中的Navigation 栈接收到位置信息，驱动ROS智能车运动至指定目标，同时，在混合现实界面的数字模型与实体的运动状态与姿态相符合。

2.根据权利要求1所述的一种基于混合现实技术的ROS智能车交互方法，其特征在于，所述ROS智能车顶部搭载雷达，所述雷达与设于ROS机器人底盘内的控制器连接，用于传递障碍物感知信息。

3.如权利要求1所述的一种基于混合现实技术的ROS智能车交互方法，其特征还包括：Hololens眼镜本地端与ROS智能车远程端通过Ros-sharp功能包进行通讯，其通讯数据格式为JSON格式。

4.如权利要求1所述的一种基于混合现实技术的ROS智能车交互方法，其特征在于，当ROS智能车运动时，远程端发送将自身位置姿态信息至服务器，Hololens眼镜本地端解析数据类型，并将其呈现在MR场景中，具体的为：当远程端运动时，ROS智能车所搭载的里程计以及IMU数据也随之改变，本地端通过ROS-sharp功能包订阅相关话题并获取JSON形式数据，本地端解析JSON数据并将其表现在MR场景中，其JSON数据格式主要是包括geometry_msgs/PoseWithCovariance pose、geometry_msgs/TwistWithCovariance twist。

5.如权利要求1所述的一种基于混合现实技术的ROS智能车交互方法，其特征在于，Hololens眼镜本地端可以发送位置信息至服务器，ROS智能车远程端解析数据类型并做出指定动作，具体的为：远程端通过Ros-sharp订阅相关节点，当MR操作者在MR界面中操作ROS智能车的数字模型时，会发布位置相关的JSON格式信息，ROS远程端获取位置信息，并执行相关指令，其JSON数据格式主要是包括float64 x、float64 y以及float64 z，分别是指定位置相对与起点的x轴坐标、y轴坐标以及z轴坐标。