[发明专利]一种基于DGG点云分割网络的机械臂自动打菜方法

说明书

本发明涉及一种基于DGG点云分割网络的机械臂自动打菜方法。实现自动打菜首先需要对打菜点位姿进行估计，根据不同的菜品种类和菜品量选择不同的打菜动作，再对六轴机械臂的路径和轨迹进行规划，最后实现菜品的挖取。目前餐厅内主要通过人工实现打菜工作，具有效率低、劳动力成本高等缺点。本发明通过深度相机采集菜品表面的点云数据，提出一种基于图卷积的点云分割网络DGG实现对打菜点的预测，根据具体的打菜动作计算得到打菜点的姿态信息，再通过三次B样条插值和Squad插值算法对机械臂末端的轨迹进行规划，最后控制机械臂完成打菜任务。

技术领域

本发明属于机器视觉领域，具体涉及一种基于DGG点云分割网络的机械臂自动打菜方法。

背景技术

针对在餐厅、食堂内使用的自动打菜机器人，其使用的打菜算法一般通过分析菜品表面深度信息特征进行计算，然而在多种多样的菜品面前，传统的算法难以得到理想的结果，缺乏一定的灵活性和通用性，而且在噪声面前也缺少一定的稳定性；随着深度学习在3D检测方面的应用不断深入，对3D数据的检测和分割准确率有着比较满意的结果，且能应对各种复杂多变的数据，因此采用深度学习的方法对菜品数据进行处理能够大幅度增加打菜的成功率。

发明内容

鉴于上述的问题，本发明通过深度相机实时采集菜品表面的点云数据，同时提出一种基于图卷积的点云分割网络DGG，对菜品点云数据进行处理并预测得到打菜点的位置信息，再根据打菜点之间菜品量的分布情况选择对应的打菜动作，根据3D空间旋转原理计算得到各个打菜点的姿态信息，再通过三次B样条插值和Squad插值算法对机械臂末端轨迹进行规划，并通过逆运动学得到关节空间内的运动信息，最后控制机械臂完成打菜动作。

本发明提供一种基于DGG点云分割网络的机械臂自动打菜方法，方法具体为：

步骤一：搭建DGG点云分割网络；首先构建局部点云的特征提取模块，定义一个有向图G＝(v,ε)来表征局部点云的几何结构，其中v,ε分别表示顶点和边；从输入的点云中随机选取一个点作为图G的中心，记为p_i，通过K近邻算法从R^3×3空间得到k个最近邻点{p_i1,p_i2,...,p_ik}，把局部点云的位置特征定义为

P_i,m＝{p_i1,m-p_i,m,p_i2,m-p_i,m,...,p_ik,m-p_i}

其中p_ik,m代表邻域里第k个点的第m维特征；

把局部点云的密集程度定义为

其中k代表邻域点数，F_m(j)代表点p_i的第m维特征，并把ρ_i,m作为位置特征P_i,m的权重函数；同时把局部点云的形状特征定义为

其中代表两个向量之间的内积计算，为图G内的边；把P_i,m和S_i,m分别经过两层的MLP结构实现进一步的特征提取，再通过最大池化层解决点云无序性问题，最后进行特征聚合后作为局部点云的整体特征。

接着把局部点云的整体特征输入到具有残差连接的三层MLP网络中，接着提升特征维度至1024；为了能够同时训练多种菜品数据，添加一维的菜品种类向量，经过最大池化函数后通过普通的三层MLP，最后一层的卷积输出通道数为分割标签的总数。DGG网络中所有卷积操作的步长为1，激活函数使用Leaky Relu，同时为避免训练过程中出现过拟合，在输出层前添加Dropout，其失活率设置为0.5。