[发明专利]一种机器人示教方法、装置、存储介质和设备

说明书

本申请公开了一种机器人示教方法、装置、存储介质和设备，从输入的影像信息中提取人物图像，影像信息基于影像采集设备采集。将人物图像输入至神经网络模型中，得到人物的三维骨架。对三维骨架进行归一化处理，得到多个向量。对各个向量进行单位化处理，得到各个单位向量。基于各个单位向量，计算得到各个关节角。对各个关节角进行碰撞检测，将碰撞检测结果指示无碰撞的关节角，发送至机器人的控制系统中，使得机器人执行与关节角对应的动作。本申请所述的方法，无需采用专业的硬件设备进行人体的动作姿态捕捉，只需输入影像信息便可驱动机器人进行示教动作，用户可以使用诸如智能手机等影像采集设备采集影像信息，从而大大降低机器人示教的门槛。

技术领域

本申请涉及机器人技术领域，尤其涉及一种机器人示教方法、装置、存储介质和设备。

背景技术

传统的机器人示教过程，需要通过可穿戴设备来追踪人体的运动和姿态，需要的场地比较大、成本高。此外，在机器人动作设计和技能学习过程中，譬如握手、举手、摆头、以及拥抱等动作，基于动作捕捉设备来实现，过程会十分繁琐，费时费力。可见，传统的机器人示教过程，对硬件设备、场地、以及人员的专业水平均具有较高要求，难以适用于大多数个体和企业，适用范围过于狭隘，不利于机器人产业的良性发展。

发明内容

本申请提供了一种机器人示教方法、装置、存储介质和设备，目的在于提供一种使用影像采集设备(例如摄像头、智能手机等)便可完成机器人示教的技术方案。

为了实现上述目的，本申请提供了以下技术方案：

一种机器人示教方法，包括：

从输入的影像信息中提取人物图像，所述影像信息基于影像采集设备预先采集；

将所述人物图像输入至预先构建的神经网络模型中，得到所述神经网络模型的输出结果；所述输出结果包括人物的三维骨架；

对所述三维骨架进行归一化处理，得到多个向量；

对各个所述向量进行单位化处理，得到各个单位向量；

基于各个所述单位向量，计算得到人体骨架的各个关节角；

对各个所述关节角进行碰撞检测；

将碰撞检测结果指示无碰撞的关节角，发送至机器人的控制系统中，使得所述机器人执行与所述关节角对应的动作。

可选的，所述从输入的影像信息中提取人物图像，包括：

获取用户输入的影像信息；

对所述影像信息进行场景分割，得到包含有人物特征的图像；

对包含有人物特征的所述图像进行人物识别，得到人物图像。

可选的，所述将所述人物图像输入至预先构建的神经网络模型中，得到所述神经网络模型的输出结果，包括：

将所述人物图像输入至第一神经网络模型中，得到所述第一神经网络模型的输出结果；所述第一神经网络模型基于目标检测框架进行迁移学习所得到；所述第一神经网络模型的输出结果包括人物的二维骨架；

将所述二维骨架输入至第二神经网络模型中，得到第二神经网络模型的输出结果；所述第二神经网络模型的输出结果包括所述人物的三维骨架；所述第二神经网络模型基于样本二维骨架、以及所述样本二维骨架的真实三维坐标训练得到。

可选的，所述基于各个所述单位向量，计算得到人体骨架的各个关节角，包括：

基于各个所述单位向量，构建欧式空间；

计算所述欧式空间中两两所述单位向量之间的空间夹角，得到人体骨架的各个关节角。

可选的，所述对各个所述关节角进行碰撞检测之前，还包括：