[发明专利]基于电磁力反馈和增强现实的机器人遥操作系统和方法

权利要求书

1.基于电磁力反馈和增强现实的机器人遥操作系统，其特征在于，包括：自然控制模块、自然反馈模块；

所述自然控制模块包括可移动操作平台、语音采集模块、虚拟机器人以及远程真正的机器人；自然控制模块用于在融合通过可移动操作平台和语音采集模块获取的操作人员的手势文本和语音文本后，通过推理方法提取机器人控制指令引导虚拟机器人运动，虚拟机器人接收机器人控制指令并根据指令进行运动，并将运动数据通过互联网发送给远程真正的机器人，远程真正的机器人接收数据并复制虚拟机器人的动作；

所述自然反馈模块包括电磁力反馈模块和视觉反馈模块；电磁力反馈模块用于使得操作人员感受到机器人的力量，视觉反馈模块用于使得操作人员从任意方向观察虚拟机器人；

所述视觉反馈模块包括AR眼镜；用于使得操作人员从任何方向观察机器人运动以及显示远程真正的机器人执行任务的实时视频；

远程操作系统中，定义世界坐标系为X_WY_WZ_W；根据机器人D-H模型，定义移动机器人机械臂的基坐标系为X_BY_BZ_B；定义机器人末端执行器的坐标系为X_EY_EZ_E；定义语音采集模块中的Kinect相机的坐标系为X_KY_KZ_K，其中Z_K是Kinect的光学轴，X_K是Kinect的长边；定义操作人员戴的AR眼镜的坐标系为X_GY_GZ_G，定义手的坐标系为X_HY_HZ_H，Y_H垂直于手掌平面并指向手的背面，X_H与从手掌中心到中指的线是共线的；定义运动传感器的坐标系为X_LY_LZ_L，X_L和Z_L分别沿着运动传感器的长边和短边；棋盘格图片固定在移动机器人上，其坐标系被定义为X_IY_IZ_I，棋盘格的左上角点为原点，Z_I垂直于棋盘格平面，X_I沿着棋盘格图片的短边，用于定位移动机器人在Kinect语音采集模块坐标系下的位置；机器人上有一个校准盒，它的坐标系被定义为X_CY_CZ_C，用于校准虚拟机器人和移动机器人之间的关系；根据以上坐标系的关系，在运动传感器坐标系中测量的操作人员手的位置和方向被转换成世界坐标系中的坐标值，用于控制虚拟机器人；所述电磁力反馈模块包括线圈和永磁铁；线圈呈圆柱形，中心是一个铁芯，铁芯周围缠绕着若干层铜导线，用于产生电磁场；所述线圈固定在追踪平台的中心处，所述永磁铁佩戴在操作人员的手上，使得操作人员感觉到机器人的受力；线圈中集成了一个PID控制器，用于减少线圈和永磁铁的不利影响，永磁铁被放置在人手的背面，以避免干扰操作人员的操作；所述运动传感器通过测量获得6个参数，包括手坐标系相对于运动传感器坐标系的3个旋转角度分量和3个位置分量，使用间隔卡尔曼滤波器(IKF)消除测量得到的人手位置的测量误差；

手坐标系到世界坐标系的旋转矩阵M_H2W如下：

其中表示手坐标系的i轴正方向和世界坐标系的j轴正方向之间的角度；

k时刻的位置状态定义如下：x_k＝[p_x,k,V_x,k,A_x,k,p_y,k,V_y,k,A_y,k,p_z,k,V_z,k,A_z,k]，其中p_x,k,p_y,k，p_z,k表示手掌中心在世界坐标系的位置分量，V_x,k,V_y,k,V_z,k表示人手在世界坐标系每个轴的速度分量，A_x,k,A_y,k,A_z,k是在手坐标系中测得的加速度分量，通过IKF从带有噪声的测量值中估计_xk的值；

运动传感器在运动传感器坐标系中检测到手的方向，包括翻滚角φ、俯仰角θ和偏航角ψ；然后通过分解的四元数算法(FQA)将测量的欧拉角转化为四元数，采用改进的粒子滤波(IPF)来减少测量得到的人手方向的测量误差；时刻t_k的近似后验密度定义如下：

其中x_i,k是在时刻t_k的第i个粒子状态，N是样本数目，ω_i,k是第i个粒子在时刻t_k的归一化权重，δ(x)是狄拉克三角函数；

采用总体卡尔曼滤波器来近似状态粒子的概率密度函数，一组初始状态粒子是总体效果预测/如下：

其中w_k代表模型误差，Q_k-1代表模型误差的协方差；每个粒子的方向有4个状态它由一个单位四元数表示，并满足以下条件：其中/代表4个单元四元数分量，每个粒子在时刻t_k+1的四元数分量定义如下：

式中ω_axis,k表示角速度分量，axis∈(x，y，z)，t是采样时间；IPF为每一个粒子的方向估计速度和位置，根据第i个粒子的通过IKF估计的位置和计算的位置之间的累积差异来分配每个粒子的权重，用于减少在世界坐标系中计算物体的加速度的误差，位置差异定义如下：

其中是第i个粒子在第s次方向迭代中累积的位置差，M_s＝ΔT_s/t,/是直接计算出的第i个定向粒子在时刻t_k的世界坐标系中的位置，/是在时刻k通过IKF预测的第i个粒子在世界坐标系每个轴上的位置；

将滤波获得的人手的位置和方向数据表示成文本“人手位置P＝(p_x,k,p_y,k，p_z,k),方向D＝(φ,θ,ψ)”的形式，得到手势文本；所述基于电磁力反馈和增强现实的机器人遥操作系统包括如下步骤：

S1.通过操作平台上的运动传感器来获取操作人员的手势文本；

S2.通过语音采集模块实现操作人员语音文本的获取；

S3.进行融合文本的处理，具体包括：

将手势文本拼接在语音文本后面，实现融合手势文本和语音文本；通过推理方法提取机器人控制指令，并用于机器人控制，具体如下：

采用(C_opt,C_dir,C_val,C_unit)四个属性描述控制指令，C_opt代表操作的类型，C_dir代表运动的方向，C_val代表运动值，C_unit代表运动值的单位；当操作者使用声音和手势控制机器人时，手势可以指示机器人运动的方向，所以手势文本被表示为一个方向矢量；

S4.通过电磁力反馈模块实现电磁力反馈；

S5.通过视觉反馈模块实现视觉反馈。