[发明专利]图像解析方法及装置

权利要求书

1.一种图像解析方法，其特征在于，所述方法通过解析模型实现，所述解析模型包括：特征共享模块、语义分割模块、边缘检测模块、聚合优化模块，

所述方法包括：

通过所述特征共享模块对待解析图像进行特征提取处理，获取共享特征，所述共享特征包括经所述特征共享模块的多个网络层处理得到的多个网络深度的特征信息；

分别通过所述语义分割模块和所述边缘检测模块对所述共享特征进行语义分割处理和边缘检测处理，获取所述待解析图像的初步语义分割结果及初步边缘检测结果；

通过所述聚合优化模块将所述初步语义分割结果及所述初步边缘检测结果输入所述聚合优化模块中组合为特征层；

在所述聚合优化模块中对所述特征层进行聚合，并采用所述聚合优化模块的多个卷积网络层进行优化处理，确定针对所述待解析图像的语义分割结果及边缘检测结果。

2.根据权利要求1所述的方法，其特征在于，所述特征共享模块包括级联的第一卷积池化网络、第二残差网络、第三残差网络、第四残差网络以及第五残差网络；

所述共享特征包括所述第三残差网络、所述第四残差网络和所述第五残差网络分别输出的特征信息。

3.根据权利要求1所述的方法，其特征在于，在确定针对所述待解析图像的语义分割结果及边缘检测结果的步骤之后，所述方法还包括：

对所述边缘检测结果进行线分割处理，确定所述待解析图像中的多个分割区域；

根据所述语义分割结果对所述多个分割区域进行聚集处理，确定所述待解析图像中至少一个解析对象的聚集区域；

将所述至少一个解析对象的聚集区域与所述语义分割结果相关联，确定针对所述至少一个解析对象的解析结果。

4.根据权利要求3所述的方法，其特征在于，所述边缘检测结果包括边缘图，

其中，对所述边缘检测结果进行线分割处理，确定所述待解析图像中的多个分割区域，包括：

分别在水平和垂直方向扫描所述边缘图，获取非背景区域中的多条水平线段和多条垂直线段，其中，每条水平线段和每条垂直线段的端点为所述边缘图中的边缘点，每条水平线段所在的区域属于同一分割区域，每条垂直线段所在的区域属于同一分割区域；

对非背景区域中的多条水平线段和多条垂直线段所在的区域进行聚集处理，获得所述待解析图像中的多个分割区域。

5.根据权利要求3所述的方法，其特征在于，根据所述语义分割结果对所述多个分割区域进行聚集处理，确定所述待解析图像中至少一个解析对象的聚集区域，包括以下至少一个步骤：

在分割区域的尺寸大于或等于第一阈值，且所述分割区域包括多个语义分割结果时，确定所述分割区域为同一解析对象的聚集区域；

在分割区域的尺寸小于第二阈值，且所述分割区域包括一个语义分割结果时，将所述分割区域并入与所述分割区域之间的距离最近的聚集区域。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

将样本图像输入初始解析模型中进行处理，获取针对所述样本图像的训练解析结果，其中，所述初始解析模型包括初始特征共享模块、初始语义分割模块、初始边缘检测模块、初始聚合优化模块以及监测模块；

根据所述样本图像的期望解析结果以及所述训练解析结果，确定所述样本图像的模型损失，所述样本图像的模型损失包括所述初始特征共享模块、所述初始语义分割模块、所述初始边缘检测模块及所述初始聚合优化模块的模型损失的加权和；

根据所述样本图像的模型损失，调整所述初始解析模型中的参数权重，确定调整后的解析模型；

在所述样本图像的模型损失满足训练条件的情况下，将调整后的解析模型确定为最终的解析模型。

7.根据权利要求1所述的方法，其特征在于，

所述初步语义分割结果包括：语义特征和语义分割图；和/或

所述初步边缘检测结果包括：边缘特征和边缘检测图。

8.根据权利要求1、3-6中任一项所述的方法，其特征在于，所述特征共享模块、所述语义分割模块、所述边缘检测模块及所述聚合优化模块分别包括全卷积神经网络。