[发明专利]一种融合多源异构数据的松材线虫病受害木识别深度学习方法

权利要求书

1.一种融合多源异构数据的松材线虫病受害木识别深度学习方法，其特征是：

获取无人机搭载的高光谱传感器和LiDAR传感器采集的地面数据，分别对高光谱数据和点云数据进行预处理，得到预处理后的高光谱数据和点云数据；将预处理好的点云数据生成.shp格式文件，并将高光谱数据赋值到点云数据上，得到融合数据；将单木样本数据标记受害类型，并利用高斯噪声抖动参数生成新的点云数据，实现样本扩增，并以3：1：6的比例分为训练集、验证集和测试集，得到样本数据集；最后利用BH3DNet分类模型对样本数据集进行训练和验证，用测试集进行精度测试，得到单木尺度的各感病时期植株的分类结果。

2.根据权利要求1所述的数据融合方法，其特征是：

所述融合数据方法包括根据影像的内外方位元素，将LiDAR点云的3D坐标(X,Y,Z)代入共线条件方程，计算出对应点云3D坐标在影像上的像素位置，进而通过ArcGIS中的值提取至点工具获取高光谱数据所有通道的灰度值。计算出每个3D点对应的光谱信息后，将点云三维坐标和光谱信息组合为增强的点云数据。

3.根据权利要求1所述的提供一种样本扩增的方法，其特征是：

为了提高模型泛化能力和鲁棒性，采用数据增广的策略进一步扩充数据集。首先对每棵单株点云沿垂直轴随机旋转一个角度，然后根据所有单株点云的平均点密度，对单株点云中的每个点进行一个均值为零、标准差范围为0.02～0.06的高斯噪声抖动来生成新的点云数据。

4.根据权利要求1所述的提供一种网络模型BH3DNet，其特征是：

该网络模型包含一个共享特征编码器(Shared Encoder)和两个并行解码器(SemDecoder和InsDecoder)。共享特征编码器采用PointNet++网络对点云进行特征编码。其中解码器SemDecoder用于语义类别预测，而InsDecoder解决实例分割问题。具体来说，网络的输入为n个重叠块，每个重叠块中包含2048个点，点的维度为274，包括XYZ坐标、高光谱全谱带的271个波段和归一化坐标。首先，经过四个SetAbstraction模块、四个FeaturePropagation模块和一个多层感知机后，特征编码器将其编码为n×2048×(271+D)的共享特征矩阵，其中D是每个点的特征维数。然后，两个并行的分支分别获取这个特征矩阵，并进行点级语义预测和实例分割。语义预测分支将共享特征矩阵解码，输出形状为n×2048×M的语义预测，其中M为语义类别数。实例分割分支利用共享特征矩阵预测形状为n×2048×E的每个点的实例嵌入，其中E为嵌入的维数。3D点云的实例嵌入表示点与点之间的实例关系，在嵌入空间中，属于同一实例的3D点彼此靠近，而不同实例的3D点尽可能远的分开。

5.根据权利要求4所述的网络BH3DNet是在Pytorch中实现的，其特征是：

网络结构具体参数如表1所示。模型训练中的参数epoch设置为200，用于训练，通过损失函数的梯度来更新模型参数。批次大小Batch Size设置为16，采用SGD优化器在单个GPU上完成训练，动量设置为0.9；初始学习率设置为0.01，每50个epoch后，衰减率设置为0.5；对于实例分割分支，设置拉力损失和推力损失的边距分别为＝0.5,＝1.5，输出实例嵌入维度为32。在模型测试阶段，在实例嵌入上应用带宽为0.7的均值漂移算法确定实例标签，然后使用区块合并算法合并来自所有窗口的实例嵌入。最后，采用非最大抑制来产生最终的语义实例预测，输出为单木尺度上的最终分类结果，取值为0、1、2和3；0表示无松材线虫病害的健康木，1表示松材线虫病害的早期疫木，2表示松材线虫病害的中期疫木，3表示松材线虫病害的晚期疫木。