[发明专利]一种融合光学图像和激光雷达点云的遥感语义分割方法

说明书

本发明公开了一种融合光学图像和激光雷达点云的遥感语义分割方法，包括：获取目标区域的多个三维激光雷达点云数据；采用核点卷积网络分别对每个三维激光雷达点云数据进行处理，获得本分支编码器各层级的激光雷达点云数据特征；对激光雷达点云数据特征进行鸟瞰图投影，获得每个分支编码器各层级的激光雷达特征；获取目标区域的光学图像，并对光学图像进行多层次特征提取，获得光学图像的RGB特征；将激光雷达特征和相匹配的RGB特征通过L‑AAM模块进行特征融合处理，获得融合后的RGB特征；分别对各层级融合后的RGB特征进行上采样，并对各层级的采样结果进行拼接，获得语义分割结果。该方法避免了三维激光雷达点云数据的信息浪费。

技术领域

本发明属于模式识别与机器学习技术领域，特别是一种融合光学图像和激光雷达点云的遥感语义分割方法。

背景技术

随着卫星技术的不断发展，遥感卫星图像在各个领域中都得到了广泛的应用。在很多应用场景中需要对遥感卫星图像进行语义分割，也就是将图像中的不同特征划分为不同的类别。这个过程通常是自动完成的，需要借助计算机视觉和机器学习等技术。

近年来，随着深度学习和卷积神经网络(CNN)的出现，该领域取得了重大进展。已经开发出了各种基于CNN架构的对2D图像进行语义分割的模型，例如全卷积网络(FCN)，U-Net，PSPNet和SegNet。然而，这些基于CNN的网络没有关注整体和局部特征的关联性。为了克服这一限制，ViT将最初为自然语言处理开发的Transformer架构应用于计算机视觉领域，随后，进行了一系列改进，包括SegFormer，SwinTransformer和Mask2Former，他们在分割精度方面显示出了显著的提高。

除了2D图像分割之外，由于3D卷积的出现，3D LiDAR点云数据的语义分割也得到了快速的发展，例如PointNet和Kernel Point Convolution(KPConv)。这些方法在处理3D点云数据方面取得了重大进展。

二维光学图像和三维激光雷达点云数据的融合已被证明可以提高语义分割的准确性。光学图像可以提供丰富的光谱信息，三维激光雷达点云数据可以提供深度信息。传统的航拍图像和激光雷达数据融合使用从激光雷达点云获得数字表面模型(DSM)或其他信息，并通过增加深度通道来融合光学图像。但是，从三维激光雷达点云中加入DSM信息时，会浪费部分信息。

现有的使用激光雷达融合光学图像进行遥感图像地物分类任务时，一般采取图像与单通道的深度信息，例如DSM、DEM、nDSM等等。而这种方法没有能全部利用激光雷达点云数据的更丰富信息。

因此，如何有效避免三维激光雷达点云数据的信息浪费，成为当前研究的关键问题。

发明内容

鉴于上述问题，本发明提供一种至少解决上述部分技术问题的一种融合光学图像和激光雷达点云的遥感语义分割方法。

本发明实施例提供了一种融合光学图像和激光雷达点云的遥感语义分割方法，包括以下步骤：

S1、获取目标区域的多个三维激光雷达点云数据；

S2、采用核点卷积网络分别对每个所述三维激光雷达点云数据进行处理，获得本分支编码器各层级的激光雷达点云数据特征；

S3、对所述激光雷达点云数据特征进行鸟瞰图投影，获得每个分支编码器各层级的激光雷达特征；

S4、获取所述目标区域的光学图像，并对所述光学图像进行多层次特征提取，获得所述光学图像的RGB特征；

S5、将所述激光雷达特征和相匹配的所述RGB特征通过L-AAM模块进行特征融合处理，获得融合后的RGB特征；

S6、分别对各层级融合后的RGB特征进行上采样，并对各层级的采样结果进行拼接，获得语义分割结果。