[发明专利]一种基于视觉上自监督学习与模仿的绳索操纵方法

权利要求书

1.一种基于视觉上自监督学习与模仿的绳索操纵方法，其特征在于，主要包括绳索操纵机械系统构造(一)；指数线性单元深度卷积学习网络(二)；绳索拾放模块(三)；绳索拾放仿真(四)。

2.基于权利要求书1所述的绳索操纵机械系统构造(一)，其特征在于，改造具有视觉摄入系统、软件处理单元、单机械手臂和实验平台的机器人机械系统；

(1)视觉摄入系统具有摄像设备及储存设备，可以对视觉范围内的物体进行摄影储存；

(2)软件处理单元具有计算单元、数据处理单元，主要对图像进行变换及搭建深度卷积学习网络；

(3)单机械手臂具有旋转功能，末端是由平行的夹子组成的抓手，可以开启跟闭合；

(4)实验平台是置于机械手臂下的平板，绳索的一端固定于平板上。

3.基于权利要求书1所述的指数线性单元深度卷积学习网络(二)，其特征在于，包括网络结构、学习过程和有效数据收集。

4.基于权利要求书3所述的网络结构，其特征在于，对当前视图及下一视图中的绳索，分别利用两组原始设置相同的卷积网络进行学习，具体网络设置为：C96-C256-C384-C384-C256-C200，每一层紧接着指数线性函数；

其中，上述链接符号“-”表示相继连接网络的层，“C”表示卷积层，数字表示该网络层的神经元数；

两张视图经过这两组卷积网络后得到两部分输出(x_t,x_t+1)，t是指当前视图，分别具有200个特征，合并两部分特征再输入到最后一个部分全连接网络F200-F200，得到关于绳索的动作预测特征。

5.基于权利要求书3所述的学习过程，其特征在于，为了进行网络训练，动作预测问题转变为动作空间的分类问题，具体地将其表达为(p_t,θ_t,l_t)，p_t是拾取动作地点，范围为20×20的网格，θ_t是拾取动作方向，分为36个范围，l_t是拾取动作长度，分为10个等级；

训练过程是将以上三个参数独立地进行分类，即：

P(p_t,θ_t,l_t)＝P(p_t)P(θ_t|p_t)P(l_t|θ_t,p_t) (1)

神经网络首先对拾取地点进行一个预测分布，得到超过400个的可能拾取地点，然后某一地点被选取为拾取地点；接着，根据特征(x_t,x_t+1)和公式(1)，利用一位有效编码推出θ_t；进一步地，再一次利用一位有效编码推出状态l_t；

具体地，按照著名神经网络AlexNet在ImageNet中训练得到的权值对神经网络前五层赋值，在前面5000次迭代中将学习率调整为0，剩余迭代则学习率调整为0.004，总共利用60000对图像进行网络训练，2500张图像进行参数调整。

6.基于权利要求书3所述的有效数据采集，其特征在于，为了使得数据收集有益于配置，在手动选择随机配置时，先实时收集一套含有50张连续动作的图像，然后利用一个已经经过30000张图像训练的模型进行图像的收集，将这两个不同的图像库作为特征对(x_t,x_t+1)的训练图像。

7.基于权利要求书1所述的绳索拾放模块，其特征在于，按照以下次序进行机械手臂的动作：

(1)由公式(1)得到拾取动作地点和释放动作地点；

(2)在拾取地点使用夹子抓住绳索一点；

(3)旋转手臂，使夹子垂直上升5厘米；

(4)移动手臂到释放动作地点垂直高度5厘米处；

(5)松开夹子，释放绳索；

其中，旋转角度的范围是(0,2π)，移动距离是(1,15cm)。

8.基于权利要求书1所述的绳索拾放仿真，其特征在于，包括逆向动态模型和仿真人手拾放动作两部分。