[发明专利]基于操作员意图识别的飞行机械臂抓取作业遥操作方法

说明书

本发明公开了基于操作员意图识别的飞行机械臂抓取作业遥操作方法，该系统由主端、从端和通讯环节组成。主端包括操作员、手控器、眼动仪、显示器和控制计算机，从端为由六旋翼无人机和五自由度机械臂组成的飞行机械臂。本发明通过记录操作员的眼动特征进行抓取目标意图识别，从而控制飞行器接近待抓取目标。辅助抓取程序利用虚拟夹具方法引导操作员通过操纵手控器完成抓取动作。复杂抓取任务操作员始终不脱离控制回路，而对于简单抓取任务，辅助抓取程序也可完全接管抓取任务，完成自主抓取。本发明将眼动信号和力反馈技术引入飞行机械臂抓取作业遥操作方法中，可以降低操作难度，减轻操作员在远程抓取控制过程中的认知负荷，提高抓取效率。

技术领域

本发明涉及飞行机械臂遥操作领域，特别是涉及一种利用眼动特征进行操作员意图识别的飞行机械臂抓取作业控制方法。

背景技术

随着旋翼飞行机器人技术的成熟，物体抓取及配送逐渐成为旋翼型飞行器研究的热点。在旋翼飞行器下加装机械臂可实现装卸物体时的自主抓取，有效提升抓取过程中的自动化程度，提高作业效率。目前飞行机械臂的抓取方法主要集中在基于人眼或视觉设备返回图像的单边遥控抓取和基于目标物体识别的自主抓取。前者飞行机械臂仅作为执行机构，需要操作员根据目标不断调整飞行器姿态，该方法对操作员有较重的认知负荷，操作员经验不足或处于疲劳状态时会影响作业效果。而后者使用图像处理和视觉定位技术对特定物体进行识别定位，通过与飞行机械臂的控制算法结合，实现物体的自主抓取，该方法实现难度大，适用于在简单环境下对单一特定物体的快速抓取，但抓取多种类形状复杂的物体或执行复杂抓取动作时，会影响该方法的准确度。因此，上述两种方法在执行多目标复杂场景抓取任务时，都具有明显的局限性。

在双边遥操作的基础上融入基于操作员意图识别的辅助控制程序，可辅助操作员完成抓取任务，提高飞行机械臂抓取作业的效率、降低操作员的操作难度与工作负荷。

发明内容

技术问题：为解决上述存在的问题，针对复杂的作业环境和抓取任务，本发明通过引入操作员视线跟踪和力反馈技术，提供了一种基于操作员意图识别的飞行机械臂抓取作业遥操作方法，可适应不同难度的作业场景，减轻操作员工作负荷，提高抓取作业遥操作的效率。

技术方案：本发明是一种基于操作员意图识别的飞行机械臂抓取作业遥操作方法，该遥操作方法基于一个由主端、从端和通讯环节组成的系统；其中，主端由操作员、视线跟踪设备、力反馈人机接口、显示器与控制计算机组成，从端为飞行机械臂，通讯环节为无线通讯方式；该遥操作方法包括以下步骤：

步骤一、控制计算机对飞行机械臂所传回的现场图像进行图像处理，并在显示器上显示作业场景的图像处理结果；

步骤二、当操作员注视显示器画面时，通过视线跟踪设备实时采集操作员的眼动特征进行操作员抓取目标意图识别，从而锁定抓取目标；

步骤三、根据操作员抓取目标意图识别结果，无人机接近目标抓取对象，通过图像采集模块进行定位测距，从而判断目标抓取物是否处于飞行机械臂工作空间，当抓取目标处于飞行机械臂工作空间时，启动辅助抓取程序；

步骤四、操作员通过力反馈人机接口控制机械臂以合适的角度和路径接近目标抓取物，同时，辅助抓取程序计算手控器在不同位置应受的反馈力，辅助操作员完成抓取动作；若执行非复杂抓取任务，辅助抓取程序完全接管后续抓取操作，自主规划飞行机械臂运动轨迹完成抓取任务。

其中，

所述视线跟踪设备采用眼动仪，用于捕捉跟踪操作员的眼动特征，并根据此信息判断抓取目标；所述力反馈人机接口为力反馈手控器，用以在辅助抓取程序中辅助操作员完成抓取动作；所述飞行机械臂由六旋翼无人机、五自由度机械臂和机械手、图像采集模块组成。

所述操作员抓取目标意图包括目标搜索和目标锁定；所述显示器以及控制计算机接收从端传回图像数据，进行图像处理并生成可视化界面，操作员在注视显示器时，通过视线跟踪设备捕捉操作员所注视物体，完成操作员抓取意图的识别。