[发明专利]一种适用于密集环境下的机械臂推抓系统

说明书

一种适用于密集环境下的机械臂推抓系统，包括PC，彩色深度相机，机械臂，智能夹持器；软件端包括CoppliaSim仿真平台；彩色深度相机通过USB与计算机相连接，机械臂通过局域网与PC连接；彩色深度相机获取彩色RGB图和深度图；计算机执行机械臂控制程序；机械臂执行动作；智能夹持器抓取或推物块。CoppliaSim仿真平台包括仿真模块、标定模块、图像预处理模块、特征提取模块、决策网络模块、动作策略模块、机器人I/O模块、机器人模块。本发明利用仿真和实际相结合，减少因训练而造成的机器人损坏，并加快抓取速度；利用深度强化学习的DQN，依据当前物体环境实时动态规划动作语义，实现推和抓的结合，同时规划出最适合抓取的方向，大大增加了机械臂抓取复杂环境的成功率。

技术领域

本发明涉及一种适用于密集环境下的机械臂推抓系统

背景技术

随着经济的发展和人口老龄化进程的加速，社会对实际可用行抓取机器人的需求日益增长。然而不同工业机器人在结构化环境下对工件的抓取，服务机器人将面临多种情况，其中就包括如何在密集型环境中高效抓取所需目标。然而就目前已存的大多数抓取系统而言，大多数仅适用于物体间隔空隙较大的场景，在面对密集物体排布时，由于物体周围没有足够的空间留给机械夹爪夹取物体，规划抓取变得十分困难。M.R.Dogar等研究人员在2012年发表了A planning framework for nonprehensile manipulation under clutterand uncertainty，提出可以通过抓扫结合的方式解决密集环境抓取困难问题。但是通过手工调制的方法只能针对一种环境，鲁棒性差，方法不可迁移。

近年来，随着计算机性能的提高和大数据的发展，深度学习突破了以往存在的限制。在大数据和深层次网络的前提下，基于深度神经网络的系统表现出了良好的性能。S.Levine等研究人员在2016年发表了End-to-end training of deep visuomotorpolicies，设计了一种基于深度神经网络的端到端机械臂推抓控制系统，该系统与M.R.Dogar等研究人员所提出的系统相比具有相对较好的泛化性。但是该系统由于将关节扭矩作为输出，造成了极高的样本复杂度，导致训练时间长，系统代价昂贵问题。

发明内容

本发明对克服现有技术存在的上述问题，提供一种适用于密集环境下的机械臂推抓系统。

本发明主要采用仿真与实际相结合的方式。首先对模型进行仿真训练，得到训练完成的神经网络参数并输入给实际网络；然后对机械臂进行标定；由深度照相机获取彩色图与深度图并做一定的预处理分别得到一个彩色高度图集和深度高度图集；将彩色高度图和深度高度图输入到特征提取网络得到相应的特征张量；将特征张量输入到推抓网络得到相应的Q值图；根据Q值图得到动作和坐标点输入给机械臂；最后机械臂根据指令执行动作。

本发明为解决现有技术问题所用的技术方案是：

一种适用于密集环境下的机械臂推抓系统，其特征在于：包括PC、彩色深度相机、机械臂，机械臂上装有智能夹持器；PC上安装的软件端包括CoppliaSim仿真平台；彩色深度相机通过USB与计算机相连接，机械臂通过局域网与PC连接；彩色深度相机获取彩色RGB图和深度图；计算机执行机械臂控制程序；机械臂执行动作，智能夹持器抓取或推物块；