[发明专利]建筑物三维轮廓提取及神经网络的训练方法和装置

权利要求书

1.一种建筑物三维轮廓提取方法，其特征在于，所述方法包括：

通过神经网络对包括建筑物的单景影像进行处理，得到语义分割结果和偏移矢量预测结果，所述语义分割结果用于确定所述建筑物上的三维区域，所述偏移矢量预测结果用于确定所述建筑物的高度；

基于所述建筑物的语义分割结果和偏移矢量预测结果，对所述建筑物进行三维轮廓提取，得到所述建筑物的三维轮廓。

2.根据权利要求1所述的方法，其特征在于，所述语义分割结果包括用于确定建筑物边缘的边缘分割结果，以及用于确定建筑物上各区域的区域分割结果；

所述偏移矢量预测结果包括所述建筑物的屋顶区域和侧面的像素点的偏移矢量。

3.根据权利要求2所述的方法，其特征在于，所述语义分割结果还包括以下至少一者：

用于确定所述建筑物的边缘方向的边缘方向分割结果；

用于确定建筑物底座区域的底座分割结果；

和/或

所述偏移矢量预测结果还包括以下至少一者：

所述单景影像中建筑物的平均偏移方向角；

所述建筑物的底座区域的像素点的偏移矢量，其中，所述底座区域的任意一个第二像素点的偏移矢量为所述第二像素点指向所述第二像素点在所述屋顶区域对应的第一像素点的矢量。

4.根据权利要求1-3任一所述的方法，其特征在于，所述语义分割结果包括用于确定建筑物底座区域的底座分割结果，以及用于确定建筑物上各区域的区域分割结果，所述三维区域包括建筑物的屋顶区域；所述偏移矢量预测结果包括第一像素点的偏移矢量，所述第一像素点为所述屋顶区域的像素点；

所述神经网络基于以下方式获取所述底座分割结果：

针对每个第一像素点，基于所述第一像素点的偏移矢量对所述第一像素点进行平移，得到所述第一像素点对应的第二像素点；

基于各个第一像素点对应的第二像素点确定所述底座分割结果。

5.根据权利要求1-4任一所述的方法，其特征在于，所述神经网络包括多个语义分割网络和多个预测网络，所述多个语义分割网络包括：

用于确定建筑物边缘的边缘分割网络；

用于确定建筑物上各区域的区域分割网络；

用于确定所述建筑物的边缘方向的边缘方向分割网络；

用于确定建筑物底座区域的底座分割网络；

所述多个预测网络包括：

用于确定所述建筑物的屋顶区域和侧面的像素点的偏移矢量的第一矢量预测网络；

用于确定所述建筑物的底座区域的像素点的偏移矢量的第二矢量预测网络；

用于确定所述单景影像中建筑物的平均偏移方向角的方向角预测网络。

6.根据权利要求5所述的方法，其特征在于，所述方法还包括：

通过初始神经网络对样本影像进行处理，所述初始神经网络包括多个初始分割网络和多个初始预测网络，所述多个初始分割网络包括初始边缘分割网络、初始区域分割网络、初始边缘方向分割网络和初始底座分割网络，所述初始预测网络包括初始第一矢量预测网络、初始第二矢量预测网络和初始方向角预测网络；

分别获取各个初始分割网络的分割损失以及各个初始预测网络的预测损失；

对各个初始分割网络的分割损失和各个初始预测网络的预测损失进行求和，得到所述初始神经网络的损失；

基于所述初始神经网络的损失对所述初始神经网络进行训练，得到所述神经网络。

7.根据权利要求1-6任一所述的方法，其特征在于，所述方法还包括：

基于所述语义分割结果确定模板和目标域；

基于所述偏移矢量预测结果确定平移向量，基于所述平移向量对所述模板进行平移，并确定平移后所述模板与所述目标域之间的匹配度；

基于所述匹配度对所述偏移矢量预测结果进行优化，得到优化后的偏移矢量预测结果；

所述基于所述建筑物的语义分割结果和偏移矢量预测结果，对所述建筑物进行三维轮廓提取，包括：

基于所述建筑物的语义分割结果和优化后的偏移矢量预测结果，对所述建筑物进行三维轮廓提取。