[发明专利]图像语义分割模型的训练方法及图像语义分割方法

权利要求书

1.一种图像语义分割模型的训练方法，其特征在于：用于训练一基于注意力模型融合的图像语义分割模型，所述图像语义分割模型包括至少两个基础语义分割子模型、一注意力模型以及一融合单元；

所述训练方法包括：

S1、将预先标注语义分割信息的训练图像分别输入到所述至少两个基础语义分割子模型中，得到所述训练图像对应的至少两个包含语义信息的特征图；

S2、将所述训练图像的至少两个所述特征图及其预先标注的语义分割信息同时输入到注意力模型中，以通过所述注意力模型计算出所述训练图像的每个特征图的权重；

S3、利用所述融合单元将所述训练图像的至少两个所述特征图按照步骤S2得到的相应权重进行融合，得到所述训练图像的预测语义分割结果；具体包括：S31、对所述训练图像的每个特征图，均从该特征图的每个语义分割元素的维度去和相应的权重相乘；其中，语义分割元素从所述特征图的所述语义信息中得到；S32、对所有特征图，将相乘结果按对应元素进行求和；S33、从求和结果中选取最大值所在的标号，作为所述训练图像的预测语义分割结果；

S4、依据所述训练图像的预测语义分割结果和预先标注的语义分割信息，对所述至少两个基础语义分割子模型和所述注意力模型的参数进行修正；

S5、利用若干训练图像不断迭代执行步骤S1至S4，直至所述至少两个基础语义分割子模型和所述注意力模型的训练结果满足预设的收敛条件。

2.如权利要求1所述的训练方法，其特征在于：所述基础语义分割子模型为FCN、DeepLab或DilatedNet。

3.如权利要求1所述的训练方法，其特征在于：所述预先标注的语义分割信息包含所述训练图像的每个像素的物体类别信息。

4.如权利要求1所述的训练方法，其特征在于，步骤S4具体包括：利用交叉熵损失函数计算所述预测语义分割结果与所述预先标注的语义分割信息之间的误差，并利用反向传播算法，依据所述误差更新所述基础语义分割子模型和所述注意力模型的参数。

5.如权利要求4所述的训练方法，其特征在于，步骤S5中所述训练结果满足预设的收敛条件是指所述交叉熵损失函数计算的所述误差的值小于一预设阈值，或者迭代次数达到预定值。

6.一种图像语义分割方法，其特征在于，包括以下步骤P1和P2：

P1、提供一基于注意力模型融合的图像语义分割模型，该图像语义分割模型包括至少两个基础语义分割子模型、一注意力模型以及一融合单元；并采用权利要求1至5任一项所述的训练方法对该图像语义分割模型进行训练；

P2、将待分割图像输入到步骤P1提供的所述图像语义分割模型中，以执行以下分割步骤P21至P23：

P21、分别通过所述至少两个基础语义分割子模型对所述待分割图像进行语义分割，得到所述待分割图像对应的至少两个包含语义信息的特征图；

P22、通过所述注意力模型根据所述待分割图像的至少两个所述特征图及其所述语义信息，计算出所述待分割图像的每个特征图的权重；

P23、通过所述融合单元将所述待分割图像的至少两个所述特征图按照步骤P23得到的相应权重进行融合，得到所述待分割图像的预测语义分割结果。

7.如权利要求6所述的图像语义分割方法，其特征在于，步骤P23具体包括以下子步骤：

P231、对所述待分割图像的每个特征图，均从该特征图的每个语义分割元素的维度去和相应的权重相乘；其中，语义分割元素从所述待分割图像的特征图的所述语义信息中得到；

P232、对所述待分割图像的所有特征图，将相乘结果按对应元素进行求和；

P233、从子步骤P232的求和结果中选取最大值所在的标号，作为所述待分割图像的预测语义分割结果。

8.如权利要求6所述的图像语义分割方法，其特征在于，还包括对所述待分割图像的预测语义分割结果进行包括修正处理的后处理操作。