[发明专利]一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法

权利要求书

1.一种基于Kinect视觉深度传感器的交互仿生机械臂控制方法，其特征在于，包括以下操作：

1)搭建多自由度的仿生机械臂和机械手，其中的关节由电机驱动，手指由舵机拉线牵引，电机和舵机分别由驱动板提供动力源；

2)以中央处理器作为控制板，将其分别与驱动板、Kinect视觉深度传感器相连接；Kinect视觉深度传感器包括RGB摄像机、空间深度摄像机和语音检测电路；

3)Kinect视觉深度传感器识别辨别目标人手臂的二维肢体轮廓，获取肢体轮廓的二维信息；利用空间深度摄像机捕获的空间深度信息，将肢体轮廓的二维信息扩展为三维空间方位信息，然后将三维空间方位信息作为肢体模仿的输入信息发送给控制板；

4)控制板将接收的信息解算，获得仿生机械臂的位置、角度、速度信息，转化成控制指令，发送给驱动板；

5)驱动板根据控制指令驱动电机和/或舵机动作，各个关节配合完成跟随目标人手臂的动作，完成肢体模仿控制；

所述的驱动板根据电机或舵机额定电压和电流提供动力，根据接收控制板的控制信号，传输相应的电压给电机或舵机，使电机和舵机到达指定的位置或按照指定速度移动，完成机械臂的动作。

所述的控制板接收Kinect麦克风采集的声音数据，语音指令解算分为语音识别和指令转化，将麦克风采集到的声音数据识别为具体的语句和文字，供指令转化使用；

所述的指令转化为：首先判断语音识别出的语句关键词是否有效，有效的判定为与指令库中的数据匹配，匹配到目标则为有效；

指令库中的数据特征值由用户对数据库进行编写，包含但不仅限于：停止、启动、跟随、避让、X关节移动到Y处；

获取到的有效语句关键词转化为动作指令采用数据库查询的方式，由预置在数据库中的对应动作决定动作指令输出。

2.如权利要求1所述的基于Kinect视觉深度传感器的交互仿生机械臂控制方法，其特征在于，所述的Kinect视觉深度传感器的语音检测电路还接收目标声波信号，并将其转化为二进制量化数据发送给控制板；

控制板将接收的信息解算后识别目标声波信号的语音指令内容，再根据语音指令内容调取相应的控制指令传输给驱动板，控制指令为预置的能够完成指定动作的机械臂控制代码；

驱动板根据控制指令驱动电机和/或舵机动作，各个关节配合完成语音指令内容，完成语音控制。

3.如权利要求2所述的基于Kinect视觉深度传感器的交互仿生机械臂控制方法，其特征在于，将肢体模仿控制和语音控制相结合，完成实时人机动作交互：

Kinect视觉深度传感器捕获交互目标的肢体动作的同时，还接收交互目标的语音指令，将捕获的信号发送给控制板；

控制板将交互目标肢体动作和语音指令结合起来，控制板优先生成肢体模仿控制指令，在完成模仿控制指令的同时响应语音指令；

驱动板根据指令内容与人实时协作或人机实时交互。

4.如权利要求1所述的基于Kinect视觉深度传感器的交互仿生机械臂控制方法，其特征在于，所述的Kinect视觉深度传感器通过对目标即时采集，对人肢体动作连续采集识别，获得的肢体三维空间方位信息；

控制板将肢体关节和骨骼分别映射为三维空间中的节点及连杆，关节位置对应节点坐标，骨骼长度对应连杆长度；然后解算获得相应的目标肢体动作的方位、角度、速度信息；解算出包括对应仿生机械臂各个关节自由度在内的控制指令数据，将控制指令数据传输给控制板，实现仿生机械臂对目标肢体动作的模仿。

5.如权利要求1或4所述的基于Kinect视觉深度传感器的交互仿生机械臂控制方法，其特征在于，控制板收到的信息为视觉深度传感器采集的RGB彩色图像和空间深度信息，其中Kinect作为视觉深度传感器，只负责图像采集和空间深度信息采集，不参与解算过程；

控制板接收传输的信息后进行实时解算：

21)由RGB图像信息进行灰度梯度分析，识别物体轮廓；

22)对物体轮廓进行分类，识别出属于人体外貌的轮廓特征；

23)根据人体轮廓图像，确定人体肢体骨骼走向及关节位置，转化为连杆和节点坐标，此时获得的是二位平面上的数据；

24)控制器处理深度传感器信息，由深度传感器的空间深度数据，确定步骤23)中节点坐标与传感器的距离，在步骤23)中解算的二维坐标中加入第三个维度作为深度维度，形成三维空间中笛卡尔坐标系下的三坐标数据；

25)通过空间几何方法，获得每一节点处连杆之间的夹角，即实际对应的人肢体关节弯曲程度；

26)将夹角数据经过映射，变换为机械臂各个关节的角度数据；

27)步骤21-26实时进行，所形成的关节的角度数据连续变化，根据连续变化的数据计算各个电机/舵机所需的运行状态，形成动作指令，即静止在指定位置或以指令速度运动；

28)图像和深度数据解算过程中，如接收到交互对象有效的语音指令，则在此步骤将语音指令的解算结果加入动作指令；

29)将机械臂各个关节的动作指令分别发送给相对应关节的驱动器，由驱动器驱动执行电机/舵机运动。