[发明专利]一种基于双目图像的输电线路分割方法

权利要求书

1.一种基于双目图像的输电线路分割方法，其特征在于，包括以下步骤：

步骤1：获取双目输电线路图像分割数据集，对数据集中的图片进行畸变校正和极线校正，得到校正后的左、右图像，即得到更新后的数据集；

步骤2：构建基于双目图像的输电线路分割网络，所述的基于双目图像的输电线路分割网络包括两个主干网络、特征金字塔网络、双目视差深度估计子网络、多尺度视差色彩融合模块以及空间信息增强的分割头；其中：

所述两个主干网络分别用于对校正后的左、右图像分别进行特征提取，具体是将左、右图像分别输入两个并行的主干网络，分别获得四个不同尺度的左特征图和右特征图它们的尺寸分别为原图的(1/4,1/8,1/16,1/32)；

所述双目视差深度估计子网络用于对两个主干网络提取出的左特征图和右特征图，使用Coarse-to-Fine的策略计算出与左特征图和右特征图对应的视差图；

所述特征金字塔网络用于将主干网络提取出的四个不同尺度的左特征图进行自顶向下的信息传递，得到左图像对应的特征金字塔

所述多尺度色彩视差融合模块用于将特征金字塔与左视差图进行多尺度融合，得到嵌入深度信息的RGBD特征金字塔{N₂,N₃,N₄,N₅}；

所述空间信息增强的分割头用于根据RGBD特征金字塔计算得到最终的输电线路分割结果，并且其中含有空间信息传递模块，该模块用于对特征图中目标物体的结构信息沿着宽度方向和高度方向进行空间信息传递；

步骤3：将双目视差深度估计子网络在FlyingThings3D数据集上进行视差估计任务的无监督预训练；

步骤4：将步骤2构建的基于双目图像的输电线路分割网络在步骤1得到的更新后的数据集上进行视差估计和输电线路分割双任务联合训练，得到训练好的基于双目图像的输电线路分割网络；

步骤5：将待识别的双目输电线路图像输入训练好的基于双目图像的输电线路分割网络进行识别，得到视差图和输电线路识别分割结果。

2.如权利要求1所述的基于双目图像的输电线路分割方法，其特征在于，所述步骤2中，所述双目视差深度估计子网络使用Coarse-to-Fine的策略对两个主干网络提取出的左特征图和右特征图计算视差图，具体过程为：将两个主干网络提取的四对不同尺度的左特征图和右特征图通过BasicBlock残差单元进行通道数压缩；然后将通道数压缩后的四对左、右特征图分别输入对应尺度的匹配代价体计算模块得到两组匹配代价体，分别为左匹配代价体和右匹配代价体再将这两组匹配代价体按照尺度从小到大的顺序进行上采样和累加，得到新的左匹配代价体和右匹配代价体最后将新的匹配代价体进行视差回归计算分别得到与步骤1得到的数据集中的左、右图像对应的左视差图和右视差图这两组视差图的尺寸为原图的(1/4,1/8,1/16,1/32)。

3.如权利要求1所述的基于双目图像的输电线路分割方法，其特征在于，所述步骤2中，多尺度色彩视差融合模块实现的流程：将双目视差深度估计子网络输出的左视差图进行三次下采样操作后的特征图输入一个卷积层、批归一化层和激活层，得到视差图金字塔，并将特征金字塔与视差图金字塔在对应尺度上进行融合，得到嵌入深度信息的RGBD特征金字塔。

4.如权利要求1所述的基于双目图像的输电线路分割方法，其特征在于，所述步骤2中，所述空间信息增强的分割头将嵌入深度信息的RGBD特征金字塔通过若干个上采样层将尺寸提升到原图的尺寸的1/4，然后将四个经过上采样后的特征图进行相加融合，得到融合的特征图；再通过空间信息传递模块将融合的特征图中目标物体的结构信息在空间维度上分别沿着宽度和高度方向进行顺序传递得到特征增强的特征图；对该特征增强后的特征图使用一个1×1卷积层和一个四倍的双线性上采样操作输出一个长宽尺寸和原输入图像相同的分割概率图。