[发明专利]一种基于视觉上自监督学习与模仿的绳索操纵方法

说明书

技术领域

本发明涉及机器人手臂操作领域，尤其是涉及了一种基于视觉上自监督学习与模仿的绳索操纵方法。

背景技术

在机器人领域，操控易变形物体一直是一个具有挑战性的问题，例如绳索、衣服、布条等。但同时，这些活动对人类来讲意义重大，在许多具有高度危险的场合可以代替人力劳动，使人类避免受到伤害，如高楼外墙的构建与清洗、具有重大污染地区的管道清理、航天航空中的机械处理等，都具有非常大的潜在开发空间，另外，在远洋深海中，绳索的操控更具有重要性，例如油井的探勘、轮船的拖拉、渔场围捕网的竖立，结冰面的海底工具牵引等，不仅在实体应用上，而且在经济上也是高新科技发展的重要动力。

绳索等易变形物体的机械操作始终未能有突破性进展，一方面由于物质材料的软化性质及易变形状性质，既难以在视觉上对变形程度、形变方向角度等进行预测，也不能从材料密度中估算出每次形变的结果，因此，对一千条绳子作及其细微变化的力学操作，也可能得到一千种截然不同的形变结果，另一方面由于机械制备的强度问题，无法掌握易形变材料在不同力的强度之下作出的反应，因此很难完备地完成一种易变形材料的轻操控。

本发明提出了一种基于深度卷积网络学习的新框架。改造机器人机械系统平台，允许其进行拾、取操作，然后将真实世界人手操控的图像与机器人自己操控的图像进行对比，输入到深度神经学习网络中进行配对训练，生成逆向模型，来进行下一步的动作预测，在重复训练过程中提高预测准度，从而使得该配置符合人手要求。本发明可以处理绳索等软性材料物体的操纵，提供一个深度神经学习网络来生成逆向动态模型，同时提高了机器人操控绳索的准确度。

发明内容

针对解决在易形变材料中机器人操控的问题，本发明的目的在于提供一种基于视觉上自监督学习与模仿的绳索操纵方法，提出了一种基于深度卷积网络学习的新框架。

为解决上述问题，本发明提供一种基于视觉上自监督学习与模仿的绳索操纵方法，其主要内容包括：

(一)绳索操纵机械系统构造；

(二)指数线性单元深度卷积学习网络；

(三)绳索拾放模块；

(四)绳索拾放仿真。

其中，所述的绳索操纵机械系统构造，改造具有视觉摄入系统、软件处理单元、单机械手臂和实验平台的机器人机械系统；

(1)视觉摄入系统具有摄像设备及储存设备，可以对视觉范围内的物体进行摄影储存；

(2)软件处理单元具有计算单元、数据处理单元，主要对图像进行变换及搭建深度卷积学习网络；

(3)单机械手臂具有旋转功能，末端是由平行的夹子组成的抓手，可以开启跟闭合；

(4)实验平台是置于机械手臂下的平板，绳索的一端固定于平板上。

进一步地，所述的指数线性单元深度卷积学习网络，包括网络结构、学习过程和有效数据收集。

进一步地，所述的网络结构，对当前视图及下一视图中的绳索，分别利用两组原始设置相同的卷积网络进行学习，具体网络设置为：C96-C256-C384-C384-C256-C200，每一层紧接着指数线性函数；

其中，上述链接符号“-”表示相继连接网络的层，“C”表示卷积层，数字表示该网络层的神经元数；

两张视图经过这两组卷积网络后得到两部分输出(x_t,x_t+1)，t是指当前视图，分别具有200个特征，合并两部分特征再输入到最后一个部分全连接网络F200-F200，得到关于绳索的动作预测特征。

进一步地，所述的学习过程，为了进行网络训练，动作预测问题转变为动作空间的分类问题，具体地将其表达为(p_t,θ_t,l_t)，p_t是拾取动作地点，范围为20×20的网格，θ_t是拾取动作方向，分为36个范围，l_t是拾取动作长度，分为10个等级；

训练过程是将以上三个参数独立地进行分类，即：

P(p_t,θ_t,l_t)＝P(p_t)P(θ_t|p_t)P(l_t|θ_t,p_t)(1)