[发明专利]面向多自由度机器人的手势交互方法、系统、装置及介质

权利要求书

1.一种面向多自由度机器人的手势交互方法，其特征在于，包括以下步骤：

获取手势视频；

从所述手势视频的视频帧中获取手势图像；

根据手势图像识别出手势语义信息或手部姿态信息；

基于当前的控制模式，根据手势语义信息或手部姿态信息获取控制机器人的控制指令；

所述手势语义信息用于基本移动方向或基本姿态角的控制；

所述手部姿态信息用于任意移动方向的控制或任意姿态的映射。

2.根据权利要求1所述的一种面向多自由度机器人的手势交互方法，其特征在于，所述控制模式包括基本移动方向控制模式、任意移动方向控制模式、基本姿态角控制模式和任意姿态映射模式；

所述基本移动方向控制模式用于根据手势语义信息控制机器人按照预设的方向进行移动；

所述任意移动方向控制模式用于根据手部姿态信息控制机器人按照任意的方向进行移动；

所述基本姿态角控制模式用于根据手势语义信息控制机器人末端的横滚角、偏转角、俯仰角三个姿态角；

所述任意姿态映射模式用于根据手部姿态信息提取手部姿态中三个姿态角，将提取的姿态角映射到机器人末端；

所述手势语义信息中包括模式切换信息；当从手势图像识别到模式切换信息，根据模式切换信息切换控制模式。

3.根据权利要求2所述的一种面向多自由度机器人的手势交互方法，其特征在于，所述手势语义信息还包括向前信息、向后信息、向左信息、向右信息、向上信息、向下信息、逆时针旋转信息和顺时针旋转信息；

在基本移动方向控制模式中，根据向前信息控制机器人按照预设步长向第一方向移动，根据向后信息控制机器人按照预设步长向第二方向移动，根据向左信息控制机器人按照预设步长向第三方向移动，根据向右信息控制机器人按照预设步长向第四方向移动，根据向上信息控制机器人按照预设步长向第五方向移动，根据向下信息控制机器人按照预设步长向第六方向移动；

在基本姿态角控制模式中，根据逆时针旋转信息或顺时针旋转信息按照预设步长调节机器人末端的横滚角，根据向左信息或向右信息按照预设步长调节机器人末端的偏转角，根据向上信息或向下信息按照预设步长调节机器人末端的俯仰角。

4.根据权利要求2所述的一种面向多自由度机器人的手势交互方法，其特征在于，在任意移动方向控制模式中，从手势图像中提取食指的空间指向作为任意方向的指示；

设相机坐标系为X_CY_CZ_C，根据手部模型提取食指的关节，其中，提取到指尖B在相机坐标系中的三维坐标P_B＝(x_B，y_B，z_B)，提取到指根A在相机坐标系中的三维坐标P_A＝(x_A，y_A，z_A)；

根据指尖和指根两个关节的三维坐标确定一个方向向量S＝(cosα，cosβ，cosγ)，方向向量的方向为从指根指向指尖；

将相机坐标系中的方向向量转换至机器人基坐标系下，指示机器人末端沿方向向量S移动一个预设步长的距离Dist。