[发明专利]基于电磁力反馈和增强现实的机器人遥操作系统和方法

说明书

本发明提供了一种基于电磁力反馈和增强现实的机器人遥操作系统及方法。所述系统包括自然控制模块和自然反馈模块。自然控制模块在融合操作人员的手势文本和语音文本后，通过推理方法提取机器人控制指令引导虚拟机器人运动，远程真正的机器人基于通过互联网发送的数据复制虚拟机器人的运动；自然反馈模块包括电磁力反馈和视觉反馈，电磁力反馈使得操作人员可以感受到机器人的力量，视觉反馈使得操作人员可以从任意方向观察虚拟机器人。采用该系统远程操作机器人，能实时感受到机器人的受力情况及观察到机器人执行任务的过程，具有强烈的沉浸感，提高了操作效率和操作准确性，适用于非专业操作人员，具有普适性和易操作性，具有广泛的应用范围。

技术领域

本发明属于机器人控制领域，特别涉及一种基于电磁力反馈和增强现实的机器人遥操作系统和方法。

背景技术

机器人的远程操作允许机器人在人类无法到达的恶劣环境中工作。然而，传统的方法通常是通过视频或3D模型来观察机器人，并且缺乏力量反馈，还有一些缺点，如视力有限、不友好的交互、缺乏沉浸感和低的远程操作效率。工业4.0时代的到来，机器人的应用领域更为普遍，使用频率越来越频繁，一方面操作人员对机器人的操作应该更为便捷，更易掌握，从而使操作人员专注于任务，提高操作效率；另一方面为操作人员提供自然友好的交互，使操作人员能够感受到机器人的实时力反馈，便于实时调整操作，使操作更加准确可靠。

现有的遥操作方法可以分为两大类：接触式和非接触式。接触式方法中，操作员手持设备来控制远程的机器人，例如鼠标、键盘、数据手套、外骨骼等。例如使用手持式的控制器操作蛇形的机器人(P.Berthet-Rayne,K.Leibrandt,et al.,“Inverse KinematicsControl Methods for Redundant Snakelike Robot Teleoperation During MinimallyInvasive Surgery,”IEEE Robotics and Automation Letters,vol.3,no.3,pp.2501-2508,2018.)；使用名为“Phantom Device”的带力反馈的操作杆控制远程机械臂(XiaonongXu,Aiguo Song,et al.,“Visual-Haptic Aid Teleoperation Based on 3-DEnvironment Modeling and Updating,”IEEE Transactions on IndustrialElectronics,vol.63,no.10,pp.6419-6428,2016.)；在手和手臂上贴附多个传感器，用测得的人手臂位姿控制机械臂运动(S.Fani,S.Ciotti,et al.,“SimplifyingTelerobotics:Wearability and Teleimpedance Improves Human-Robot Interactionsin Teleoperation,”IEEE RoboticsAutomation Magazine,vol.25,no.1,pp.77-88,2018.)。但是这些方法中的交互效率低，方式不够自然，需要具备专业的操作知识和经验，人手的运动空间受到设备的可动空间限制，并且操作员可以观察的视角也有限。非接触式方法中，测量设备不需要直接接触人体，可以间接获取人体的位置和姿态。例如将物理标记贴在人体上，然后通过相机拍摄的图像获取人手的位置和姿态，从而控制机械臂(J.Kofman,X.Wu,et al.,“Teleoperation of a Robot Manipulator Using a Vision-Based Human–Robot Interface,”IEEE Transactions on Industrial Electronics,vol52,no.5,pp.1206-1219,2005.)；通过Leap Motion运动传感器获取人手的位置和姿态，不需要借助物理标记就可控制机器人(Guanglong Du,Ping Zhang,and Xin Liu,“Markerless Human–Manipulator Interface Using Leap Motion With IntervalKalman Filter and Improved Particle Filter,”IEEE Transactions on IndustrialInformatics,vol.12,no.2,pp.694-704,2016.)。但是这些方法都缺少力反馈，导致操作的沉浸感和精度不足，并且人手的运动空间受到设备的测量空间限制，同时观察视角受限的问题依然存在。