[发明专利]一种基于实例分割和路径规划的农作物采摘系统

说明书

本发明提供了一种基于计算机视觉的提高作物采摘精度和控制机械臂运动自动寻路的系统。该系统结合Yolact在ResNet‑101上的工作，将传统的两阶段实例分割模型修改为一阶段模型，从最深层生成64个鲁棒掩模，并依次根据4层特征金字塔网络输出预测系数，对不同图层的掩模系数赋予不同的权重以提高掩模精度。既定位植株，又生成掩膜逐像素地将作物紧密覆盖，并输出作物中心点及轮廓坐标。然后使用A*算法及其启发函数依次利用这些坐标进行分段最短路径规划并生成对应的G代码语句控制机械臂在植株间和植株上进行运动，最后机械爪结合作物中心点和轮廓坐标采摘作物。

技术领域

本发明涉及智慧农业中的智能采摘，特别是涉及一种控制机械手的自动寻路和识别农作物的抓取系统。

背景技术

当前世界上应用最多的主要有2种形式的采摘机械：一是通过震摇或撞击等形式使果实与果树分离的采果机，摇动和捕获方法通常会导致损害程度，这是新鲜水果所无法接受的；第二种方法是利用采摘机器人技术进行选择性农作物收获。20世纪80年代起，相关领域的专家和工程师便开始着手于农作物采摘机器人的研制和开发。所采用的典型方法是将计算机视觉系统与机械手和末端执行器结合起来，以便有选择地采摘个别成熟的农作物。

目前农作物自动化采摘系统中较为常用的深度神经网络算法，如Faster R-CN和YOLOv3等，主要实现的是采摘对象的目标检测功能。然而，上述的深度神经网络算法只能利用边界框粗略地计算出目标的位置，无法准确地提取轮廓和形状信息。但是，农作物采摘工作的难点在于即使是相同类型农作物，在不同环境下的外观变化很大，包括颜色、形状、大小、质地和反射特性。因此，为了实现对农作物的采摘点的精确定位，需要高精度的农作物轮廓和形状识别，这意味着单一的目标检测办法不能满足对农作物的采摘要求

在智能采摘过程中，机器人路径规划的常用算法是蚁群算法及其优化算法。这类算法要求多个机器人进行采摘，并遍历所有路径释放“信息素”，所需的搜索时间长，复杂度高，且在搜索进行到一定程度后，容易出现所以机器人得到相同解这种“停滞现象”，使得搜索空间受到限制。此外，信息素更新策略，路径搜索策略和最优解保留策略都带有经验性，没有经过严格的理论论证。因此基本蚁群算法的求解效率不高、收敛性较差、求解结果具有较大的分散性

发明内容

为了解决检测精度低，形状识别效果差，路径搜索时间长，长时间搜索后停滞这种问题，本发明提出了一种启发式自动寻路抓取系统。

本发明提供了一种实例分割的掩模获取方法，使用ResNet-101网络结构和FPN图像金字塔来提取图像特征。特征图一方面送入FCN全卷积网络生成64个原型掩模，另一方面添加预测头进行相应的系数预测，根据产生系数的特征图深度乘上对应的系数与原型掩模组合后使用Sigmoid函数激活。最终得到目标的实例分割结果以及掩模所覆盖的轮廓坐标。

本发明提供了一种启发式路径规划算法。在空间的每层平面之间根据农农作物的种植规律和植被特性设定导航点作为平面之间的通路来缩短搜索时间，在每一层平面上进行启发式路径搜索，寻找到达最近导航点的最短路径。每进行一次搜索，都将出发节点坐标输出为一个符合G代码规则的机械臂定位指令，指导机械臂进行移动。机械臂移动到指定位置后，根据实例分割所得轮廓坐标进行农作物抓取。

本发明包含了一种安装于小车的六轴机械臂，具有直线插补，圆弧插补，加减速插补，多轴同步旋转插补，工作台坐标设定等功能。机械臂使用G代码进行指令控制，有两种控制机械臂运动的方式，一是只关心末端定位位置，这时只要给定机械臂末端坐标值和定位姿态，机械臂自动计算各轴角度，自动直线插补运行到定位点；二是只关心各轴角度，这时只需输入各轴角度的目标值，机械臂自动按照角度值使各轴同步插补到目标。

本发明的优点和积极效果

与现有技术相比，本发明具有如下优点和积极效果：

第一，图像分割速度快，可以达到实时分割，分割精度和掩模精度高。