[发明专利]基于穿戴示教服视频的人体姿态机器人示教方法及装置

权利要求书

1.一种基于穿戴示教服视频的人体姿态机器人示教方法，其特征在于，包括以下步骤：

(1)、穿戴示教服视频获取

示教人穿戴示教服进行示教，采用单目或多目摄像系统获取示教人的示教过程视频，该视频即为穿戴示教服视频；

(2)、人体姿态精细识别

使用视频目标识别和单目/多目视频图像同步融合算法，依据示教服，获取精确表征示教人的人体姿态变化过程的人体骨骼关节的时空点位演进序列和多维动力学参数；

(3)、机器人本地操作参数转换

把步骤(2)获得的人体骨骼关节的时空点位演进序列和多维动力学参数，转换为机器人本地操作参数或执行代码所述示教人穿戴的示教服由能紧贴示教人体表的强弹性面料制成，示教服上紧贴人体肢体关节的部位具有相互区别的渐变不等宽或等宽色的关节色带环，示教服上设置对应关键人体肌肉的连接关节色带环的色带条，用于精细表征示教人的人体骨骼关节运动和肌肉运动形变。

2.根据权利要求1所述的人体姿态机器人示教方法，其特征在于，步骤(2)为基于人体形态学的骨骼和肌肉运动规律和原理，建立多维多自由度时间-空间联动的多维时空坐标系，在此多维时空坐标系中，通过分析视频中色带条和色带环的空间位移和扭曲变化情况，基于人体运动学原理，推演计算示教人动作过程中关节、骨骼和肌肉的几何状态度量，运动力学数学模型表达及其模型参数，由此精细刻画人体姿态演变过程及该过程中人体骨骼刚体和关节柔体、肌肉柔体的状态和形变，进而得到人体骨骼关节的时空点位演进序列和多维动力学参数。

3.根据权利要求2所述的人体姿态机器人示教方法，其特征在于，所述多维时空坐标系基于人体形态学骨骼系或人体外形中的某一点或一点组作为参照锚点，也可基于示教应用现场工作台或环境的某些不动点构造参考锚点；此外，融合人体形态锚点和工作现场锚点的多维时空坐标系，维度为N，N≥3；关节转动按横剖自由度和纵剖自由度设置2维正交自由运动表征。

4.根据权利要求1所述的人体姿态机器人示教方法，其特征在于，所述多维动力学参数是由人体形态学原理和人体姿态机理约束的一组表征相关关节柔体、骨骼刚体、肌肉柔体关联关系的线性、非线性、微分混合的方程组，该方程组的变化反映人体姿态的时序演进过程中运动刚体和柔体的关联和约束，所述多维动力学参数参考人体形态学和人体运动学理论，由穿戴示教服视频图像序列分析统计提取得到，同时又用于逆向修正穿戴示教服视频处理过程计算得到的不良参数值。

5.根据权利要求1所述的人体姿态机器人示教方法，其特征在于，步骤(3)中，针对示教机器人的两种典型业务类型，即：姿态孪生和同境同工，分别设计机器人本地操作参数或执行代码；

姿态孪生业务中，机器人本地操作参数转换处理时，不考虑示教人身高体型与机器人体型形态尺寸之差异，仅在机器人动作能力约束下，把示教人视频识别得来的时空点位演进序列和多维动力学参数的存储数据，复现为机器人本地操作参数逻辑，并能通过人工或适配机器人的编译中间件转换为机器人可执行的软件代码，此方法适用于示教姿态的机器复现用途；

在同境同工业务中，机器人本地操作参数转换处理时，须考虑示教人身高体型与机器人体型形态尺寸之差异，依据场景工作台和作业对象的不动点做参照系，在机器人动作能力约束下，以完成在示教人相同工作台相同作业对象的作业任务为目标，把示教习得时空点位演进序列数据和多维动力学参数转换为机器人本地操作数，并能通过人工或适配机器人的编译中间件转换为机器人可执行的软件代码；在机器人所涉及的功能机械部件可变形伸缩的情况，按姿态孪生业务下的机器人本地操作参数转换处理。

6.一种基于穿戴示教服视频的人体姿态机器人示教装置，其特征在于，包括：

示教服，使用可伸缩材料制作而成，可贴身穿戴，紧贴人体肢体关节的部位具有相互区别的渐变不等宽或等宽色的关节色带环，示教服上设置对应关键人体肌肉的连接关节色带环的色带条，用于精细表征示教人的人体骨骼关节运动和肌肉运动形变；

示教视频采集模块，根据应用场景不同，可以是安装在机器人体上的摄像头，也可以是独立于机器人的一个外部摄像头或多个围绕示教人布设的摄像头组，用于获取穿戴示教服的示教人的连续视频即穿戴示教服视频；摄像头以有线也可以无线方式接入视频板卡，这些板卡可以在机器人体上，也可以配置在独立于机器人的本地计算机、边缘计算服务器；具有支持多摄像头的多通道接口模块，对多路视频流进行时间同步采样形成图像序列；

人体姿态精细识别模块，是一组计算机视觉目标识别和图像融合功能算法，运行在机器人主机或本地/边缘计算服务器上，对示教视频采集模块所获取的穿戴示教服视频进行处理，获取精确表征示教人的人体姿态变化过程的人体骨骼关节的时空点位演进序列和多维动力学参数；

机器人操作数转换模块，是一组功能软件模块，可运行在机器人主机上也可运行在本地或边缘计算服务器上，根据获得的人体骨骼关节的时空点位演进序列和多维动力学参数，转换为机器人本地操作参数或执行代码；如果是在本地或边缘计算服务器上处理，设置下载工具把机器人本地操作参数或执行代码下载到机器人。