[发明专利]基于Kinect人手运动捕捉的灵巧手遥操作控制方法

摘要

本发明涉及基于Kinect人手运动捕捉的灵巧手遥操作控制方法。实现所述方法的硬件包括：Kinect传感器，计算机和遥机器人灵巧手系统。首先利用混合活动轮廓模型跟踪手部外轮廓后，应用粒子滤波算法实现手部姿态跟踪。然后通过机器人实时传输的反馈图像信息，观察远端情况，从而实施特定操作任务。本发明采取结合深度信息以及YCbCr肤色检测空间技术的活动轮廓模型，解决了图像含有强噪音或目标具有弱边界时很难得到真实解的问题；本发明采取基于模板匹配的粒子滤波姿态检测方法，可以检测并估计高维特征的人手三维姿态；本发明采用手控模式与程序模式相结合的主从操作方式，简便、快捷，体现了人机交互的指导性、易用性。

主权项

基于Kinect人手运动捕捉的灵巧手遥操作控制方法，实现所述方法的设备包括：Kinect传感器，计算机，遥机器人灵巧手系统，网络传输设备；Kinect传感器用于获得图像数据；计算机包括图像处理单元和手势识别单元，用于对图像数据进行处理和手势识别；遥机器人灵巧手系统包括操作控制单元、灵巧手执行单元和图像采集处理单元，图像采集处理单元包括双目摄像头、二自由度云台和数据处理器；遥机器人灵巧手系统用于获取控制信息，远程控制灵巧手执行操作任务，将图像采集处理单元获得的图像信息通过网络传输设备送至计算机的图像处理单元进行处理，并将灵巧手执行单元工作情况信息同时反馈至操作者；其特征在于，所述方法包括以下步骤：步骤1，Kinect传感器获得操作者的深度和彩色图像数据，同时识别操作者的人手位置，并将数据传送给计算机内部的图像处理单元；步骤2，图像处理单元结合彩色及深度信息RGB‑D，应用RGB‑D信息融合的活动轮廓算法对图像进行处理，并将处理后的图像数据传送至计算机内部的手势识别单元；步骤3，手势识别单元通过分析图像数据，采用基于模板匹配的粒子滤波姿态检测方法预测人手姿态进行手势识别，并将手部关节各角度变化值通过网络传输设备送给遥机器人灵巧手系统；步骤4，遥机器人灵巧手系统通过网络传输设备，将图像采集处理单元获得的远端环境图像和遥机器人灵巧手关节的姿态等信息进行编码压缩处理后传输给计算机，计算机的图像处理单元将这些信息进行处理合成后通过计算机的显示器反馈给操作者；具体包括以下步骤：步骤4.1，旋转二自由度云台至预设位置，以此位置的图像数据确定遥机器人的初始位置信息，使用预先标定好的双目摄像头采集具有视差的图像数据；步骤4.2，利用数据处理器将步骤4.1获得的两幅具有视差的图像数据进行图像编码压缩，采用JPEG2000格式编码；步骤4.3，将压缩后的图像数据按照报文格式，打包后发送到计算机的图像处理单元；步骤4.4，图像处理单元接收到数据后，进行解包操作，并将压缩的图像格式解码为可方便操作的RGB格式数据；步骤4.5，根据双目摄像头内外参数得到的透视投影矩阵，利用最小二乘法得到三维图像的坐标；步骤4.6，将采集的三维图像数据与步骤3建立的虚拟人手模型图像合成，并将虚拟人手透明度设为50％，增加视觉临场感，同时在计算机显示器上显示灵巧手执行单元各电机动作情况。