[发明专利]动作学习方法、装置、介质及电子设备

说明书

本公开涉及一种获取人体运动图像数据；确定与人体运动图像数据对应的三维人体姿态动作数据；将三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与人体运动图像数据对应的机器人动作序列数据；对机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接；根据进行动作连续性拼接后的机器人动作序列数据确定机器人学习到的连续动作。这样，无需动作捕捉器，也无需对机器人轨迹进行规划，通过2D的人体运动图像数据即可在机器人原子动作库中匹配得到与人体运动图像数据对应的机器人动作序列数据，并且还能通过对该机器人动作序列数据中的各动作进行平滑连接和动作优化，快捷、准确地学习得到流畅的机器人动作。

技术领域

本公开涉及机器人领域，具体地，涉及一种动作学习方法、装置、介质及电子设备。

背景技术

目前用于控制机器人动作行为的方案中，常用的是基于动作捕捉器直接控制机器人动作，具体的，需要人体穿上若干个动作捕捉器设备(包括不限于IMU惯性测量单元)，通过连接一个计算设备，再通过计算设备连接到机器人身上，构成一个本地网络，通过动作捕捉器将人的动作进行捕捉，并同步控制机器人做出类似动作，机器人身体的对应关节与人体动作对应关节运动的角度和速度基本保持相近或在控制一定误差的范围内。或者，基于机器人轨迹规划的方法，需要通过在机器人坐标系下通过对各个关节运动的位置、速度和加速度进行基于运动学和动力学算法运动轨迹规划，各个关节按照规划好轨迹进行运动，多个关节联动形成机器人的动作行为。

发明内容

本公开的目的是提供一种动作学习方法、装置、介质及电子设备，无需动作捕捉器，也无需对机器人轨迹进行规划，通过2D的人体运动图像数据即可在机器人原子动作库中匹配得到与人体运动图像数据对应的机器人动作序列数据，并且还能通过对该机器人动作序列数据中的各动作进行平滑连接和动作优化，快捷、准确地学习得到流畅的机器人动作。

为了实现上述目的，本公开提供一种动作学习方法，所述方法包括：

获取人体运动图像数据；

确定与所述人体运动图像数据对应的三维人体姿态动作数据，所述三维人体姿态动作数据中包括按照动作时间顺序排列的多个三维人体姿态；

将所述三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与所述人体运动图像数据对应的机器人动作序列数据，所述机器人动作序列数据由多个机器人子动作组成，所述机器人子动作中包括所述原子动作和/或由所述三维人体姿态动作数据映射得到的映射动作；

对所述机器人动作序列数据中的各机器人子动作按序进行动作连续性拼接；

根据进行所述动作连续性拼接后的所述机器人动作序列数据确定机器人学习到的连续动作。

可选地，所述确定与所述人体运动图像数据对应的三维人体姿态动作数据包括：

确定所述人体运动图像数据中的各图像分别对应的二维人体运动关键点；

根据所述各图像分别对应的所述二维人体运动关键点所构成的二维关键点序列数据确定所述三维人体姿态动作数据。

可选地，所述将所述三维人体姿态动作数据与机器人原子动作库中的原子动作进行匹配，以确定与所述人体运动图像数据对应的机器人动作序列数据包括：

按照所述动作时间顺序对所述三维人体姿态动作数据中所包括的多个人体子动作依次进行匹配，并根据所述机器人原子动作库中的所有原子动作与所述人体子动作的相似度确定与所述人体子动作相对应的机器人子动作，其中，所述人体子动作由一个或多个所述三维人体姿态构成；

根据所述动作时间顺序确定由所述机器人子动作组成的所述机器人动作序列数据。

可选地，所述根据所述机器人原子动作库中的所有原子动作与所述人体子动作的相似度确定与所述人体子动作相对应的机器人子动作包括：