[发明专利]基于第三视角可变主体演示视频的机械臂模仿学习方法

说明书

本发明涉及一种基于第三视角可变主体演示视频的机械臂模仿学习方法，包括：从演示视频中获取演示样本，并定义演示视频视角为第三视角；获取由观察图像序列组成的样本，并定义该图像视角为第一视角；对演示样本进行从第三视角到第一视角的转换；获取示范主体特征向量和对应姿态下机械臂的特征向量，并对其进行对齐操作；预测机械臂下一帧图像的特征向量；搭建机械臂逆动力学运动控制网络，将机械臂相邻帧的图像输入到控制网络中，输出机械臂的控制信号；重复执行上述步骤，直至机械臂完成演示视频中的所有动作。与现有技术相比，本发明具有在演示视频的示范主体为非机械臂的条件下，使机械臂能够实现模仿学习的优点。

技术领域

本发明涉及机械臂模仿学习技术领域，尤其是涉及一种基于第三视角可变主体演示视频的机械臂模仿学习方法。

背景技术

机械臂是机器人技术领域中得到最广泛应用的自动化机械装置。在自动化的生产流水线上，传统的机械臂控制通常根据机械臂的动作规划和任务目标，利用人工进行编程的方法实现，泛化性能较差，工作效率与智能程度较低；同时由于现实生产中所需的机械臂动作越来越复杂化，人工编程的过程也更为繁琐，机械臂系统程序设计也更为复杂，传统的机械臂控制方法很难满足人们的需求。随着人工智能领域的发展，模仿学习为机械臂的智能控制提供了思路。

模仿是人类学习的重要机制，通过观看他人的示范，人类可以学习到相应的任务操作。同样的，机械臂的模仿学习使其能够通过观看演示来学习到复杂多样的任务动作，这一方法避免了繁琐的人工编程环节，同时能够使机械臂具有学习新行为的能力，增强了其泛化性与可拓展性，提高了机械臂对于新行为动作的学习效率。然而，要使机械臂拥有像人类一样的智能、完成复杂动作的操作是一件难度很大的工作。机械臂的模仿学习需要一系列的专家示范视频，在模仿学习的训练过程中通常需要使用拍摄好的数据集中的图片或视频，这导致了机械臂能够学习到的动作行为有限，不利于提高模仿学习的泛化性能。通过人拍摄演示视频直接示教的方式，使得机械臂学习到相应的动作，可以大大提高模仿学习的便利性与泛化性能。

不过，目前的模仿学习方法在演示视频的视角与演示主体的方面有着较为严格的要求，通常要求专家示范演示视频的视角与机械臂视角相同，同时演示的主体也应为外观相同或相似的机械臂，在这种限定的条件下，机械臂才能够成功完成模仿学习的任务。而在实际应用场景中，这些要求过于苛刻，专家演示视频的获取难度与成本也较高：由于视野限制、目标位置存在遮挡、演示场景与实际应用场景存在差异等因素限制，机械臂视角与演示视频视角并不能够完全相同；同时对于演示主体的限制进一步限制了专家示范视频的获取途径，这些因素不利于提高机械臂模仿学习的泛化性，在实际应用中也限制了机械臂模仿学习方法的环境适应性，因此对于演示视频的视角转换与主体对齐方法的提出是十分必要的。

中国专利CN111136659A中公开了一种基于第三人称模仿学习的机械臂动作学习方法及系统，用于机械臂自动控制，使得机械臂可以通过观看第三方示范来自动学习如何完成相应的操控任务。该专利虽然能够更好的平衡判别器模块与控制策略模块的训练过程，但是该专利依然存在着缺陷：该专利中要求第三视角示范视频的示范主体必须为机械臂，对于示范主体为非机械臂的情况，不能完成模仿学习的任务，从而限制了机械臂模仿学习的泛化性。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种在示范主体为非机械臂条件下的能够有效完成模仿任务，具有较强的泛化能力的基于第三视角可变主体演示视频的机械臂模仿学习方法。

本发明的目的可以通过以下技术方案来实现：

一种基于第三视角可变主体演示视频的机械臂模仿学习方法，所述的模仿学习方法包括：

步骤1：从演示视频中获取演示样本τ_c，并定义演示视频视角为第三视角；

步骤2：获取机械臂实时状态图像，记录当前控制策略π_θ执行过程中的观察图像序列，获得由观察图像序列组成的样本并定义该图像视角为第一视角；