[发明专利]视触觉融合的空中机器人遥操作系统及跟随辅助控制方法

说明书

本发明涉及空中机器人遥操作领域，为视触觉融合的空中机器人遥操作系统及跟随辅助控制方法。其系统包括主端、从端、控制策略模块和网络通讯模块，主端包括操纵杆信号采集模块、触觉反馈模块、视觉反馈模块和信号处理模块，从端包括领导者和跟随者，领导者设有定位模块，跟随者为空中机器人；空中机器人包括运动控制模块、定位建图模块、运动规划模块及视觉采集模块。本发明采用触觉反馈的方法提供跟随辅助控制引导，使遥操作系统能够安全地完成复杂的任务；与单纯依靠视觉反馈信号在非结构化环境下控制空中机器人相比，降低了操作员的工作负荷，提高了控制的安全性。

技术领域

本发明涉及空中机器人遥操作领域，特别涉及一种视觉与触觉反馈相融合的空中机器人遥操作系统及跟随辅助控制方法。

背景技术

随着空中机器人遥操作技术的成熟，其越来越广泛地应用在危险的、复杂的，人难以进入的非结构化环境中，如高空、火灾现场、核辐射区域。此外，多智能体协作技术可以发挥非结构化环境中人-机或多机间的异质性带来的优势，在非结构化环境下由操作员操作合作完成任务。

遥操作技术是一种人与机器人远程交互的技术，其一方面捕捉操作员的控制意图，将操作员的控制命令传送到远端的机器人控制器中，另一方面通过机器人上安装的多传感器设备将环境和机器人的状态信息反馈给操作员，从而使操作员获取控制决策的依据。

目前的空中机器人遥操控方法主要依靠基于人眼或视觉传感器反馈回图像单边遥操控，在高度非结构化环境下对操作员有较大的认知负荷，例如视线不佳的环境。此外，多智能体技术将人-机编队或多机编队中每个能够自主或被操控的移动的主体视为智能体。在编队移动的过程中，往往有作为领导员角色的人或机器人来领导其余机器人移动。对于其余机器人来说，能否安全地跟随领导员，是近几年来一个关注的问题。然而，目前的机器人虽然可以依靠目标追踪和自主导航技术完成跟随与按照最优路径避障的任务，但这种自主化方法难以适应突如其来的意外和触摸不到的危险。

发明内容

为了解决现有技术所存在的问题，本发明利用触觉反馈为操作员提供跟随辅助控制，结合视觉第一视角信息，构建一种视触觉融合的空中机器人遥操作系统；并依据编队中其余智能体的状态信息、环境信息和各个智能体的操作员命令，提出一种视触觉融合的空中机器人跟随辅助控制方法，提高遥操作的安全性，降低操作员的工作负荷。

根据本发明提出的一种视触觉融合的空中机器人遥操作系统，包括：

主端，包括操纵杆信号采集模块、触觉反馈模块、视觉反馈模块和信号处理模块，其中信号处理模块分别与操纵杆信号采集模块、触觉反馈模块、视觉反馈模块连接；

控制策略模块；

网络通讯模块；

从端，包括领导者和跟随者，领导者设有定位模块，跟随者为空中机器人；空中机器人包括运动控制模块、定位建图模块、运动规划模块及视觉采集模块；定位模块分别与网络通讯模块、运动规划模块连接；

其中，操纵杆信号采集模块采集来自移动触觉反馈设备操纵杆转轴的旋转量和对应的时刻信息，并输出触觉反馈设备信号到信号处理模块；

触觉反馈模块接收信号处理模块计算的期望的触觉反馈设备操纵杆位移量信号，控制触觉反馈设备操纵杆渲染对应的触感，以辅助控制触觉设备操作杆移动；

信号处理模块接收操纵杆信号采集模块的信息并处理成空中机器人速度控制指令；接收控制策略模块计算的跟随辅助控制速度信号，并处理成期望的触觉反馈设备操纵杆位移量信号给触觉反馈模块；接收经由网络通讯模块传输的从端空中机器人的视觉采集模块所采集的第一视角图像信号，并传输给视觉反馈模块；

视觉反馈模块将信号处理模块传输的空中机器人的第一视角图像信号显示输出；

定位模块采集与计算得出领导者和跟随者的三维位置坐标与对应的时刻信息；