[发明专利]一种基于深度学习的三维抓取平台和抓取方法

权利要求书

1.一种基于深度学习的三维抓取平台，其特征在于，包括控制系统、传动带系统、机器人系统、采集系统以及物体类别和位姿识别系统；其中，

所述采集系统受控制系统控制采集视野内的原始三维点云数据，并对采集的原始三维点云数据进行预处理获取物体的三维点云数据，并输出该物体的三维点云数据至物体类别和位姿识别系统；

所述物体类别和位姿识别系统利用基于深度学习网络构建的物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统；

所述控制系统输出控制指定至采集系统以控制采集视野内的原始三维点云数据；根据物体类别和位姿识别系统输出的识别结果规划移动路径，并根据移动路径输出控制指令至机器人系统以控制机器人抓取物体；

其中，所述物体类别和位姿识别模型的构建方法为：

选取物块质心点作为位姿信息采集点，采用任意摆放物块位置方式获取采集点在机器人坐标系下的坐标信息x,y,z，在相对于坐标系x轴正方向为-180°～+180°的范围内每隔5°到10°采集物块的角度信息Rz，将坐标信息x,y,z、角度信息Rz以及物块类别组成标签，物体的三维点云数据和标签组成一个训练样本；

对Pointnet进行改进，获得物体类别和位姿识别网络，利用训练样本对物体类别和位姿识别网络进行训练，网络参数确定后获得物体类别和位姿识别模型。

2.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述采集系统包括采集设备和预处理器，其中，所述采集设备受所述控制系统控制采集视野内的原始三维点云数据；

所述预处理器用于对获得的原始三维点云数据依次进行点云分割、点云滤波、点云聚类以及点云体素化以提取物体的三维点云数据。

3.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述物体类别和位姿识别网络包括感知层、最大池化层、全连接层，其中，

所述感知层由不同大小的卷积网络组成，用于三维点云数据由高维向量向低维向量的映射，实现三维点云数据的特征提取；

所述最大池化层用于对一定区域内的三维点云数据提取最大值点云数据，能够保留主要的特征同时减少参数和计算量，防止过拟合，提高模型泛化能力；

所述全连接层用于将物体的三维点云数据映射到物体标签，即物体类别和位姿信息。

4.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述控制系统采用ubuntu作为主控机的操作系统，搭载ROS Kinectic系统，采用发布/订阅的通讯方式实现各模块交互，使用Moveit规划机器人的机械臂运动路径，控制机械臂运动。

5.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述机器人系统包括六轴机械臂、六轴机械臂的工控机，所述工控机接收物体类别和物体位姿信息和移动路径，根据该物体类别和物体位姿信息和规划路径控制六轴机械臂抓取。

6.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述传动带系统包括传送带以及传感器，所述传感器在检测获得传送带上的物体到指定抓取区域后，发送物体到位信号至所述控制系统，所述控制系统根据接收的物体到位信号后控制采集系统采集视野内的原始三维点云数据。

7.如权利要求1所述的基于深度学习的三维抓取平台，其特征在于，所述采集系统采用深度相机、双目相机或激光雷达采集视野内的原始三维点云数据。

8.一种抓取方法，其特征在于，所述抓取方法采用权利要求1～7任一项所述的基于深度学习的三维抓取平台，所述抓取方法包括以下过程：

传感器在检测获得传送带上的物体到指定抓取区域后，发送物体到位信号至所述控制系统，所述控制系统根据接收的物体到位信号后控制采集设备采集视野内的原始三维点云数据并发送至预处理器；

所述预处理器对获得的原始三维点云数据依次进行点云分割、点云滤波、点云聚类以及点云体素化以提取物体的三维点云数据并发送至物体类别和位姿识别模型；

所述物体类别和位姿识别模型对物体的三维点云数据进行识别，确定物体类别和位姿信息，并传输该物体类别和位姿信息至控制系统；

所述控制系统根据物体类别和位姿信息规划移动路径，并发送该物体类别和位姿信息、移动路径至六轴机械臂的工控机；

所述工控机接收物体类别和物体位姿信息和移动路径，根据该物体类别和物体位姿信息和移动路径控制六轴机械臂抓取。