[发明专利]一种基于视频图像演示的机器人操作学习方法

说明书

本发明公开了一种基于视频图像演示的机器人操作学习方法，包括如下步骤：1、通过搭载在机器人外部三脚架上的Kinect相机，计算机器人基座到跟踪系统的静态变换，实现机器人和相机系统的手眼标定；2、通过控制机器人执行不同的演示任务收集一个演示视频数据集；3、通过3D卷积神经网络获取视频数据中的动作特征；4、将操作学习与未知模型元学习相结合计算出具有泛化能力的机器人操作模仿学习模型；5、通过监控机器人抓取过程中手指的最大电流，感知手指抓取力。本发明实现了机器人能够通过观看视频演示达到学习新任务的能力，并通过机器人指尖电流的变化做到与外界环境进行交互，该方法很好的提高了服务机器人通用性和智能化水平。

技术领域

本发明涉及服务机器人领域，具体涉及一种基于视频图像演示的机器人操作学习方法。

背景技术

目前基于深度学习算法的机器人操作可以通过大量时间和经验从头学习一项复杂的技能，基于大量专家级技巧演示的操作学习，通过原始像素输入实现抓取单个固定对象的任务，需要200次演示才能实现良好的性能。目前深度学习太依赖于大量的数据集和巨量的训练，无法快速学习，使得深度学习的应用受到很大的局限，而对于人而言，在面对新事物的时候，能够根据对物体的描述就能基于以往的经验知识实现对任务的快速学习，这是因为人具有先验知识，会利用自己的先前经验作为基础并与新事物结合起来从而进行快速学习。同样，我们希望机器人在学习了一定量的任务后，在面对新的任务时，只需要少量的样本就能够根据之前的经验快速学习，而不是把新的任务孤立的考虑。因此我们希望建立一个端到端的神经网络来对机器人进行控制，输入视觉传感器捕获的视频图像，输出机器人相应的操作动作，这种机器人具备非常强的适应能力，可以在不同场景中保持工作能力。

这种方法，我们称为元学习或者叫做学会学习，元学习是机器学习中的子领域，它的思想是学会训练的过程，使得我们的系统在它的整个生命周期可以持续地学习各种各样的任务。

发明内容

发明目的：针对现有技术存在的问题，本发明提供了一种基于视频图像演示的机器人操作学习方法，以实现通过监测机器人抓取过程中手指电流的变化估算机器人抓取物体所需施加力的大小，达到仅需通过视频演示即可使机器人学习相关抓取任务，并对被抓取物体有所感知的目的。

技术方案：一种基于视频图像演示的机器人操作学习方法，具体包括如下步骤：

步骤1、通过搭载在机器人外部三脚架上的Kinect相机，计算机器人基座到跟踪系统的静态变换，实现机器人和相机系统的手眼标定；

步骤2、通过控制机器人执行不同的演示任务收集一个演示视频数据集；

步骤3、通过3D卷积神经网络获取视频数据中的动作特征；

步骤4、通过将操作学习与未知模型元学习相结合计算出具有泛化能力的机器人操作模仿学习模型；

步骤5、通过监控机器人抓取过程中手指的最大电流，感知手指抓取力。

进一步的，所述步骤1中，标定板采用Aruco，并将标定板固定在机器人末端，使用ROS系统下Moveit插件和easy_handeye标定包相结合。利用棋格标定板对Kinect相机进行内参标定。

进一步的，所述步骤2中，在ROS系统下，控制机器人在不同环境下完成不同的抓取任务，得到一个可供模型进行训练的数据集。

进一步的，所述步骤3中，通过未知模型元学习中的二次梯度计算出具有泛化能力的深度学习模型。

进一步的，所述步骤5中，通过监控流过手指的最大电流，找到手指施加相应的力，运行程序控制手指缓慢闭合，直到达到电流的阈值；所述阈值根据不同的物体进行改变，达到阈值后，手指停止闭合，然后通过图表找到手指达到最大电流与施加力的大小。