[发明专利]一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法

说明书

本发明公开了一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法，属于人工智能检测技术领域。采集采摘目标多角度RGB图像和深度图像通过视角映射生成采摘目标的第一点云集合作为训练集；采用三维重建方法实时重建采摘本体树冠层第二点云集合作为验证集和测试集，训练采摘点检测模型Alpha‑VoteNet。采摘时，采用三维重建方法实时三维重建采摘对象树冠层第三点云集合，利用采摘点检测模型获取采摘对象树冠层的所有采摘目标的采摘区域标注框，并根据标注框底面顶点计算底面中心获取采摘点三维坐标。本方法克服了传统方法中无法获取采摘目标的三维信息和因障碍物遮挡造成识别精度不高的问题，具有检测精度高、识别速度快和泛化能力强等特点。

技术领域

本发明属于人工智能识别技术领域，具体地说，涉及一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法，用于茶树嫩芽采摘。

背景技术

茶叶源于中国，是我国特色农产品。一直以来，茶叶采摘以传统人工方式为主，通过观察嫩芽嫩叶形状来判断采摘时机及其品级，但此方法费时费力且效率较低，特别是在一些劳动力缺少的地区，直接增加了生产加工成本。为此，人们发明了机械式采茶机，分为单人自走式和多人抬采式，虽能提高采摘效率，降低人工成本，但由于茶树冠层嫩芽高低不平，存在“一刀切”的方式，增加了茶叶品质分级难度，并且茶叶完整度也无法得到保证，严重影响茶叶的名优特性。因此，为同时提高茶叶的采摘效率和采摘品质，采用一种准确且快速的茶叶检测方法具有重要的应用价值。

近些年来，随着人工智能与农业信息化相结合，基于计算机视觉技术的应用场景已拓展到农业生产中。得益于机器视觉技术部署难度低、平台搭建简单、成本低廉等优点，目前已有许多农场开始将其应用于实践中。例如，张浩等在《农业机械学报》上发表的基于光栅投影法定位茶叶嫩芽位置的一种方法。其研究通过光栅投影轮廓术获取嫩芽高度信息，并结合色彩因子法对自然环境下茶叶嫩芽识别，实现其三维信息获取，但该方法由于将相机放置在茶树正上方，对于部分被遮挡的嫩芽无法准确识别，且由于采用传统计算机视觉技术，准确性和鲁棒性有限。Chen等在《Computers and Electronics in Agriculture》上发表的基于深度卷积网络定位茶叶采摘点的方法，采用单侧相机固定角度方式获取茶叶嫩芽图像，然后通过卷积网络对“一芽两叶”区域和此区域的采摘点进行预测。但茶树冠层空间分布错综复杂，嫩叶之间存在重叠和遮挡，无法实现茶树冠层嫩芽的完整检测。

从上述技术可知，现有的茶叶或者其他采摘对象的采摘点定位方式尚存在检测角度受限、检测精度不高和抗干扰性能差等不足。因此，如何开发出一种新的基于机器视觉的采摘点检测模型构建方法、采摘点定位方法是本领域技术人员亟待解决的问题。

发明内容

1、要解决的问题

针对现有采摘点检测模型检测精度不高和抗干扰性能差等问题，本发明提供一种基于机器视觉的采摘点检测模型构建方法及采摘点定位方法；利用算法生成的低复杂度采摘目标的第一点云以及基于三维重建得到的茶树冠层稠密点云，训练采摘点检测模型，该模型能够实现完整、准确地检测茶树冠层嫩芽，同时利用点云数据包含目标几何信息的特点，根据被检测到的采摘目标的三维信息定位嫩芽采摘点，具有抗干扰性强、准确度高等优势；此外也简化模型设计复杂度和增强鲁棒性。

2、技术方案

为实现本发明目的，采用如下的技术方案：

本发明第一方面提供一种基于机器视觉的采摘点检测模型构建方法，所述方法包括：

S110：获取待采摘目标围绕待采摘本体树冠拍摄的多组RGB图像和多组深度图像数据；

S120：将所述多组所述深度图像与多组所述RGB图像对齐，并生成基于所述采摘目标的第一点云集合；

S130：基于三维重建方法，获取所述采摘本体树冠层的第二点云集合；