[发明专利]一种基于精准尺度预测的图像语义分割方法及模型

权利要求书

1.一种基于精准尺度预测的图像语义分割方法，

对于原始图像I，用深度卷积网络编码基础特征图F；基础特征图F上每个点编码了原始图像上以该点为中心的一个区域的语义及外观特征；将编码得到的基础特征图F划分为K×K个区域，采用卷积层；

根据预设的S个候选尺度，针对每个区域，利用卷积层及softmax归一化，预测每个区域属于每个预设尺度的概率，即尺度置信度Ps；其中，s=1…S；

根据设定的对象类别，在划分的K×K个区域中，利用卷积层及softmax归一化，预测每个区域属于每个对象类别的类别置信度Pc；其中，c=1…C，C为对象类别数；

基于预测的尺度置信度Ps，采用软加权方式对各个区域进行语义分割：

采用软加权方式对各个区域进行语义分割的具体方法包括：

对基础特征图F采样得到几个预设的候选尺度；然后，分别用卷积层及softmax归一化进行语义分割，得到不同候选尺度上的分割结果 Ms；其中，s=1…S；最后对于每个区域，利用预测的尺度置信度Ps作为权重，对对应候选尺度上的分割结果进行加权平均，得到基于尺度的语义分割结果Mscale；将类别置信度Pc乘以基于尺度的语义分割结果Mscale实现分割结果的修正，并将乘积与语义分割结果Mscale相加得到修正后的最终的语义分割结果M。

2.根据权利要求1所述的图像语义分割方法，采用软加权方式对各个区域进行语义分割的具体方法还包括：将不同候选尺度上的分割结果采用到同一尺度后，再利用预测的尺度置信度Ps作为权重，对对应候选尺度上的分割结果进行加权平均。

3.根据权利要求1所述的图像语义分割方法，所述K等于6。

4.一种基于精准尺度预测的图像语义分割模型，用于实现权利要求1-3所述图像语义分割方法，其特征在于，对区域尺度、区域对象类别和语义分割三个预测目标进行学习和训练，对每个目标分别计算交叉熵损失，进行强监督学习；整体模型的损失由三个预测目标的损失相加而成，进行联合学习。

5.根据权利要求4所述的图像语义分割模型，所述图像语义分割模型中的区域尺度标签从语义分割标签中提取，具体提取方法包括：预设大、中、小3个尺度；若一个区域包含小对象或复杂的边界，则须选用大分割尺度；若一个区域仅包含一个对象，则须选用小分割尺度；若以上两种情况皆非，则选用中分割尺度。

6.根据权利要求5所述的图像语义分割模型，所述对象的对象大小采用统计像素个数在整个区域中的占比获得。

7.根据权利要求5或6所述的图像语义分割模型，对象边界用计算梯度方法获得，并计算边界像素点个数在整个区域中的占比。