[发明专利]建筑物三维轮廓提取及神经网络的训练方法和装置

说明书

本公开实施例提供一种建筑物三维轮廓提取及神经网络的训练方法和装置，通过神经网络获取建筑物的偏移矢量预测结果来确定所述建筑物的高度，通过偏移矢量预测结果辅助语义分割结果来对建筑物进行三维轮廓提取，得到所述建筑物的三维轮廓，从而能够提高建筑物三维轮廓提取的准确度。

技术领域

本公开涉及计算机视觉技术领域，尤其涉及建筑物三维轮廓提取及神经网络的训练方法和装置。

背景技术

从遥感影像中获得建筑物的三维轮廓是测绘的重要需求之一，能够为灾害评估，环境监管，居民管理，城市规划等提供重要的数据支撑。然而，对于较高的建筑物，相关技术中的建筑物三维轮廓提取方式难以准确地提取出建筑物的三维轮廓。

发明内容

本公开提供一种建筑物三维轮廓提取及神经网络的训练方法和装置。

第一方面，本公开实施例提供一种建筑物三维轮廓提取方法，所述方法包括：通过神经网络对包括建筑物的单景影像进行处理，得到语义分割结果和偏移矢量预测结果，所述语义分割结果用于确定所述建筑物上的三维区域，所述偏移矢量预测结果用于确定所述建筑物的高度；基于所述建筑物的语义分割结果和偏移矢量预测结果，对所述建筑物进行三维轮廓提取，得到所述建筑物的三维轮廓。

在一些实施例中，所述语义分割结果包括用于确定建筑物边缘的边缘分割结果，以及用于确定建筑物上各区域的区域分割结果；所述偏移矢量预测结果包括所述建筑物的屋顶区域和侧面的像素点的偏移矢量。

在一些实施例中，所述语义分割结果还包括以下至少一者：用于确定所述建筑物的边缘方向的边缘方向分割结果；用于确定建筑物底座区域的底座分割结果。

在一些实施例中，所述偏移矢量预测结果还包括以下至少一者：所述单景影像中建筑物的平均偏移方向角；所述建筑物的底座区域的像素点的偏移矢量，其中，所述底座区域的任意一个第二像素点的偏移矢量为所述第二像素点指向所述第二像素点在所述屋顶区域对应的第一像素点的矢量。

在一些实施例中，所述语义分割结果包括用于确定建筑物底座区域的底座分割结果，以及用于确定建筑物上各区域的区域分割结果，所述三维区域包括建筑物的屋顶区域；所述偏移矢量预测结果包括第一像素点的偏移矢量，所述第一像素点为所述屋顶区域的像素点；所述神经网络基于以下方式获取所述底座分割结果：针对每个第一像素点，基于所述第一像素点的偏移矢量对所述第一像素点进行平移，得到所述第一像素点对应的第二像素点；基于各个第一像素点对应的第二像素点确定所述底座分割结果。

在一些实施例中，所述神经网络包括多个语义分割网络和多个预测网络，所述多个语义分割网络包括：用于确定建筑物边缘的边缘分割网络；用于确定建筑物上各区域的区域分割网络；用于确定所述建筑物的边缘方向的边缘方向分割网络；用于确定建筑物底座区域的底座分割网络；所述多个预测网络包括：用于确定所述建筑物的屋顶区域和侧面的像素点的偏移矢量的第一矢量预测网络；用于确定所述建筑物的底座区域的像素点的偏移矢量的第二矢量预测网络；用于确定所述单景影像中建筑物的平均偏移方向角的方向角预测网络。

在一些实施例中，所述方法还包括：通过初始神经网络对样本影像进行处理，所述初始神经网络包括多个初始分割网络和多个初始预测网络，所述多个初始分割网络包括初始边缘分割网络、初始区域分割网络、初始边缘方向分割网络和初始底座分割网络，所述初始预测网络包括初始第一矢量预测网络、初始第二矢量预测网络和初始方向角预测网络；分别获取各个初始分割网络的分割损失以及各个初始预测网络的预测损失；对各个初始分割网络的分割损失和各个初始预测网络的预测损失进行求和，得到所述初始神经网络的损失；基于所述初始神经网络的损失对所述初始神经网络进行训练，得到所述神经网络。