[发明专利]基于自然图像的树木多级枝干结构自动提取方法

说明书

本发明公开了基于自然图像的树木多级枝干结构自动提取方法，属于计算机图形技术领域；本发明首先对采集的树木图像进行树木图像标注处理，生成枝干标注数据；然后，对这些枝干标注数据进行处理，生成符合神经网络模型要求的长度一致的向量数据；接着，利用树木图像数据以及处理后的枝干标注数据进行神经网络模型训练，输出训练好的神经网络模型并保存；进一步地，对加载神经网络模型文件和树木图像文件进行处理，计算并输出结果；最后读取上述输出结果，进行主干和一级侧枝枝干结构的生成，并将结果存入文件。相较于现有技术，本发明所提出的方法自动化程度高，用户操作简便，能够处理复杂背景图像能力更强，且生成的枝干结构质量更高。

技术领域

本发明涉及计算机图形技术领域，特别是涉及基于自然图像的树木多级枝干结构自动提取方法。

背景技术

树木枝干的自动化提取在农林业中应用广泛，如林下无人机的避障、果园智能采摘机器人的枝干定位、机械化剪枝以及树木长势的监测等。现有的相关技术主要有两大类：1)基于图像的枝干提取；2)基于三维点云的枝干提取。其中，基于图像的枝干提取方法主要有基于传统的图像处理技术的方法和基于深度学习技术的方法。基于传统的图像处理技术方法，其一般的工作流程是：首先，通过RGB相机获取树木图像，然后根据图像中不同像素的颜色信息，对树木的主杆区域进行图像分割或边缘提取。基于深度学习技术的方法，其一般采用计算机视觉领域中，通用的目标检测神经网络模型，直接对树木图像中包含枝干的区域进行检测框(矩形框)的计算。其一般的工作流程包含：数据收集和处理、神经网络模型的迁移学习以及神经网络模型的部署和应用。该类方法的输出一般是包含目标的一系列矩形检测框。而基于三维点云的枝干提取方法主要采用激光雷达获取三维点云，然后进行树干点云的识别以及树干点云的分割。这类方法对树干点云的识别主要采用聚类方法，一般步骤为：点云局部特征的计算、树干点云特征阈值选取、树干点云的聚类以及分割。树干点云特征阈值选取是该类技术的核心，主要有通过试验方式的手动选取和采用机器学习技术的阈值自动学习等方法。

现有基于图像的树木枝干提取技术，其主要存在的问题和缺点：

(1)基于传统的图像处理技术，当图像中的背景比较复杂时，其枝干区域的分割以及轮廓提取误差大。造成该缺点的原因是，这类技术主要是基于像素的颜色信息进行分割，当背景像素颜色难以区分时，会造成像素的错判。

(2)基于传统的图像处理技术，其一般只能提取树木的主干，对于树木的侧枝往往无法提取。造成该缺点的原因是，树木的树叶以及枝干之间的遮挡，无法简单通过像素的颜色等信息进行处理，从而造成对树木侧枝枝干提取的失败。

(3)现有基于图像的方法，其只能输出树木主干不被树叶遮挡的那部分可视区域，其原因是：1)遮挡区域无法通过像素的颜色信息进行识别，从而无法提取树干；2)神经网络模型依赖相应的数据集进行训练，而当前缺乏这类包含完整树干结构标记的图像数据集。

(4)现有基于图像的方法，其提取的树木主干区域要么是包含主干的一组像素集合，要么是一个包含主干的矩形框，无法得到树干整体的几何结构(如树干上的分支结点位置、结点与结点之间的连接关系等)。其原因是：1)基于像素颜色信息的树干提取方法，最终只能对像素进行分类，从而该类方法的输出是一组像素集合，而无法提取树干的几何结构；2)基于深度学习技术的方法，其采用的是计算机视觉中通用的目标检测模型，这类模型的输出是一组矩形检测框，而不是树干的具体几何结构；3)不同树木枝干几何结构差异大，现有技术没法处理这些差异性以支持深度神将网络模型的训练。

现有基于三维点云的树木枝干提取技术，其主要存在的问题：

(1)激光雷达相比RGB相机，价格昂贵，操作更为复杂；

(2)三维点云数据量大，计算开销大，很难做到实时处理；

(3)基于三维点云分割得到的树干，其是一组离散点，无法直接获取树木枝干的几何结构。