[发明专利]基于操作员意图识别的飞行机械臂抓取作业遥操作方法

权利要求书

1.一种基于操作员意图识别的飞行机械臂抓取作业遥操作方法，其特征在于，该遥操作方法基于一个由主端、从端和通讯环节组成的系统；其中，主端由操作员、视线跟踪设备、力反馈人机接口、显示器与控制计算机组成，从端为飞行机械臂，通讯环节为无线通讯方式；该遥操作方法包括以下步骤：

步骤一、控制计算机对飞行机械臂所传回的现场图像进行图像处理，并在显示器上显示作业场景的图像处理结果；

步骤二、当操作员注视显示器画面时，通过视线跟踪设备实时采集操作员的眼动特征进行操作员抓取目标意图识别，从而锁定抓取目标；

步骤三、根据操作员抓取目标意图识别结果，无人机接近目标抓取对象，通过图像采集模块进行定位测距，从而判断目标抓取物是否处于飞行机械臂工作空间，当抓取目标处于飞行机械臂工作空间时，启动辅助抓取程序；

步骤四、操作员通过力反馈人机接口控制机械臂以合适的角度和路径接近目标抓取物，同时，辅助抓取程序计算手控器在不同位置应受的反馈力，辅助操作员完成抓取动作；若执行非复杂抓取任务，辅助抓取程序完全接管后续抓取操作，自主规划飞行机械臂运动轨迹完成抓取任务；

所述视线跟踪设备采用眼动仪，用于捕捉跟踪操作员的眼动特征，并根据此信息判断抓取目标；所述力反馈人机接口为力反馈手控器，用以在辅助抓取程序中辅助操作员完成抓取动作；所述飞行机械臂由六旋翼无人机、五自由度机械臂和机械手、图像采集模块组成；

所述操作员抓取目标意图识别，其眼动特征包括操作员视线的有效注视点的位置坐标、注视时间和瞳孔直径；意图识别的过程为：

首先，根据注视点位置坐标计算注视点所属物体；

其次，对每个注视点进行瞳孔直径和注视时间的积分；

最后，在当前时间窗口内，若根据积分结果和注视点位置坐标综合得到的某个待抓取物的抓取意图概率大于设定阈值时，则当前抓取目标操作意图为目标锁定，否则操作意图为目标搜索；

所述辅助抓取程序，控制方法为采用引导型虚拟夹具方法，控制计算机根据现场环境和机械臂轨迹规划结果计算反馈力，并通过手控器作用于操作员，辅助操作员完成抓取动作；

步骤四中所述反馈力计算方法为：

根据飞行机械臂图像采集模块返回的现场信息和目标抓取物位置，生成虚拟夹具的引导路径，即虚拟夹具管道的形状；并根据现场环境的复杂情况确定不同位置的管道半径；在机械臂运动过程中，控制计算机计算反馈力并将计算结果发送给力反馈手控器，防止操作员越过运动路径规划生成的虚拟夹具的管道边界，从而辅助操作者完成抓取动作；

判断操作员操作的飞行机械臂末端是否越过规划运动路径生成的虚拟夹具管道边界的准则是：

(x_tcp-x_tag)²+(y_tcp-y_tag)²+(z_tcp-z_tag)²≤R

其中，x_tcp，y_tcp，z_tcp为飞行机械臂末端位置，x_tag，y_tag，z_tag为机械臂运动路径规划结果，R为虚拟夹具管道的半径；

当飞行机械臂末端超过虚拟夹具管道时，作用给操作者的反馈力为：

其中，F_x,F_y,F_z为x,y,z方向上作用于操作员的反馈力，K_d为反馈力的阻尼系数，x_tcp,y_tcp,z_tcp,x_tag,y_tag,z_tag分别为飞行机械臂末端位置和机械臂路径规划结果；

上述虚拟夹具的管道半径为：

R＝R₀-G₀ln(1-α+ε)

其中，R₀为虚拟夹具管道的最小半径，G₀为增益；α为根据现场环境确定的环境复杂指数，其取值范围为0～1，飞行机械臂工作环境越复杂时，α越趋近于0；飞行机械臂工作环境为自由空间时，α越趋近于1；ε为一个极小的正数，用以保证1-α+ε不等于0；

所述非复杂抓取任务，辅助抓取程序可完全接管后续抓取操作，完成自主抓取任务，其过程为：

首先，判断是否处于非复杂环境，即虚拟夹具管道半径R是否大于阈值R_VPT；

其次，判断是否操作员不使用手控器进行操作，即操作员持续对手控器无操作的时间t是否大于阈值t_VPT；

最后，根据操作员持续对手控器无操作的时间t内操作员的眼动特征进行意图识别，判断操作员抓取意图为目标锁定，则启动自动抓取程序，根据机械臂运动规划结果完成目标物的自主抓取。