[发明专利]一种基于增强现实的远程监测及控制系统

权利要求书

1.一种基于增强现实的远程监测及控制系统，其特征在于：包括交互仿真控制模式，该交互仿真控制模式通过服务器和位于远端设备及环境中的移动机器人，以虚实结合的方式完成机械手(2)远端操作的本地路径规划和模拟，具体地：

所述移动机器人包括机器人本体(1)，以及设于机器人本体(1)上的机械手(2)和RGBD相机(3)；

所述服务器包括一远端环境重建模块(40)、机械手操作仿真模块(50)以及增强现实显示模块(60)；所述远端环境重建模块(40)接收所述RGBD相机(3)拍摄的深度图像，并将不同角度拍摄的深度图像合成场景三维点云模型；所述机械手操作仿真模块(50)建立机械手仿真模型，然后结合场景三维点云模型，操作机械手仿真模型，规划路径，最后利用所述路径驱动所述机械手仿真模型运动；所述增强现实显示模块(60)将动态的机械手仿真模型叠加在RGBD相机(3)拍摄的彩色图像中，实现虚实结合的模拟显示和路径规划；

还包括监测模式，其通过所述服务器、位于远端设备及环境中的远程数据采集系统以及移动机器人，以虚实结合的方式完成监测数据和监测图像的融合显示，具体地：

所述远程数据采集系统采集各监测对象的监测数据，然后发送至服务器；各监测对象处均设置一标签(300)；

所述移动机器人巡检时，接收来自服务器的控制指令，控制机器人本体(1)和RGBD相机(3)，使机器人本体(1)运动至监测对象处，使RGBD相机(3)拍摄到包含标签信息的监测图像，并发送至服务器；

所述服务器还包括设备识别模块(70)和存储及故障诊断模块(80)；

所述设备识别模块(70)分析所述RGBD相机(3)拍摄的监测图像，分割识别该监测图像上的标签信息，并发送包含标签信息的查询请求；

所述存储及故障诊断模块(80)接收并保存所述远程数据采集系统发送的监测数据，并诊断监测对象是否存在故障，若存在故障，则发送报警信息；当存储及故障诊断模块(80)接收来自设备识别模块(70)的查询请求时，依据标签信息查询该标签信息对应的监测数据，然后发送至所述增强现实显示模块(60)；

所述增强现实显示模块(60)将监测数据叠加在RGBD相机(3)拍摄的监测图像上对应标签(300)的附近区域显示，实现监测数据与监测图像的叠加显示，显示界面更加直观。

2.根据权利要求1所述的一种基于增强现实的远程监测及控制系统，其特征在于：所述交互仿真控制模式下还完成碰撞检测，具体地：所述机械手操作仿真模块(50)在场景三维点云模型中利用所述路径驱动机械手仿真模型运动，检查机械手仿真模型是否与场景三维点云模型发生干涉，实现虚实碰撞检测；若存在干涉，则优化路径，然后将优化后的路径发送给移动机器人，若不存在干涉，则将所述路径发送给移动机器人，移动机器人根据路径控制机械手(2)的运动，完成操作任务。

3.根据权利要求2所述的一种基于增强现实的远程监测及控制系统，其特征在于：所述移动机器人上还设置图像采集控制器(7)、机器人本体控制器(5)以及机械手控制器(6)；所述图像采集器控制相机云台(4)运动，并采集所述RGBD相机(3)上的彩色图像和深度图像，所述RGBD相机(3)固定于相机云台(4)上；所述机器人本体控制器(5)控制机器人本体(1)运动，并反馈机器人本体(1)的方位和姿态；所述机械手控制器(6)控制机械手(2)的运动；

所述服务器上还设有云台遥操作模块(30)、机器人本体遥操作模块(10)以及机械手遥操作模块(20)；所述云台遥操作模块(30)向图像采集控制器(7)发送指令，控制相机云台(4)按照指令运动，从而改变RGBD相机(3)的拍摄角度；所述机器人本体遥操作模块(10)向机器人本体控制器(5)发送指令，控制机器人本体(1)按照指令运动；所述机械手遥操作模块(20)向机械手控制器(6)发送指令，控制机械手(2)按照指令运动；

所述远端环境重建模块(40)在合成场景三维点云模型时，首先通过机器人本体遥操作模块(10)和机械手遥操作模块(20)分别向与之对应的机器人本体控制器(5)和机械手控制器(6)发送控制指令，使机器人本体(1)和机械手(2)保持固定不动，然后通过云台遥操作模块(30)向图像采集控制器(7)发送指令，控制相机云台(4)按照指令多角度转动，且在各角度拍摄深度图像，从而获得不同角度的深度图像，并合成场景三维点云模型。