[发明专利]一种机器人识别人体缝纫动作的方法

权利要求书

1.一种机器人识别人体缝纫动作的方法，其特征在于，具体按照以下步骤实施：

步骤1，搭建模块化多机器人缝纫系统，模块化多机器人缝纫系统包括相互连接的双手缝纫系统、立体视觉系统、视觉伺服系统；

步骤1中立体视觉系统包括两台角度不同的摄像机，通过摄像机获得视觉信息，视觉信息通过视觉伺服系统进行控制反馈给双手缝纫系统，双手缝纫系统包括两个安装缝纫针驱动器的机器人，两个机器人用来模仿人类双手的缝纫动作；

步骤2，采集人体缝纫动作作为机器人学习样本，生成训练数据；

步骤3，使用高斯混合模型编码，对演示得到的运动基元进行任务学习；所述步骤3的具体步骤为：

在对步骤2得到的训练数据进行低通滤波之后，根据缝纫针驱动器的打开和关闭状态，以及与缝纫针的连接方式，将每个演示分割成一系列的运动基元，使用高斯混合模型Ω对每个运动基元进行编码，编码元素包括时间戳t和六自由度姿态信息h，给定点t，h属于Ω的概率计算为该点的加权概率之和，如下式所示：

其中，k表示第k个高斯分量；π_k和p_k是高斯分量Ω_k的条件概率密度，均值μ_k和协方差∑_k定义为：

μ_t,k、μ_h,k分别表示第k个高斯分量时间t和姿态h对应的均值；∑_tt,k、∑_th,k分别表示均值为μ_t,k时，查询条件为时间t和姿态h对应的方差；∑_hh,k、∑_ht,k分别表示均值为μ_h,k时，查询条件为姿态h和时间t对应的方差；

为了确定高斯分量的数量，使用了五倍交叉验证，查询姿态在每个时间步长的均值和协方差运用高斯混合模型检索每个运动基元的参考轨迹，如下式所示：

其中：

为时间步长，为运动基元姿态轨迹对应的均值；表示时间步长为时，运动基元姿态轨迹对应的协方差；参数K表示高斯分量总个数；表示第k个高斯分量的混合权重；为时间步长为时，第k个高斯分量姿态h对应的均值；表示时间步长为均值为时，第k个高斯分量查询条件为姿态h对应的方差；

根据每个运动基元中不同演绎间的差异，改变任务在不同任务上下文中复制任务的速度，进一步优化系统所学的参考轨迹，得到缝纫的目标轨迹；

步骤4，建立立体视觉系统，在任务期间检测针的运动姿态；

所述步骤4采用两台摄像机构成的立体视觉系统来跟踪并监测针的姿态，避免因偏差积累造成的缝纫失败，得到缝纫的实际轨迹；

所述建立立体视觉系统的具体步骤为：

步骤4.1，使用针检测算法在每个立体图像中检测到缝纫针，得到特征图像；

步骤4.2，增强特征图像中的曲线结构；

步骤4.3，将预期中缝纫针的理想姿态模型的三维点投影在图像平面上；

步骤4.4，检测小的直段，对比针真实姿态与理想姿态的不同，当接近投影针并具有相似取向的节段，被认为是缝纫针一部分；

步骤4.5，将这些片段组合起来，以创建一条连续的曲线，表示图像中检测到的缝纫针；

步骤5，建立视觉伺服系统，通过闭环视觉的反馈指导并调整机器人的运动。

2.根据权利要求1所述的一种机器人识别人体缝纫动作的方法，其特征在于，所述缝纫针驱动器的针头上安装条形码标记，用于目标的可视化跟踪，并记录缝纫针驱动器的六自由度姿态信息。

3.根据权利要求1所述的一种机器人识别人体缝纫动作的方法，其特征在于，所述步骤2由人类演示缝纫手势动作，立体视觉系统进行记录采用人体动作示范来采集样本，通过多次向双手缝纫系统演示缝纫过程，以生成训练数据。