[发明专利]基于自适应亲和力和类别分配的弱监督语义分割方法

权利要求书

1.一种基于自适应亲和力和类别分配的弱监督语义分割方法，其特征在于，包括如下步骤：

(1)获取训练样本集和测试样本集：

对共包含C个物体类别的S幅彩色图像中半数以上彩色图像的物体类别进行标注，并将类别标签及其对应的彩色图像作为训练样本集，将其余部分彩色图像作为测试样本集，其中S≥5000，C＞2；

(2)构建基于自适应亲和力和类别分配的弱监督语义分割模型A：

(2a)构建包括顺次连接的语义特征提取网络和分类网络的基于自适应亲和力和类别分配的弱监督语义分割模型A，其中语义特征提取网络包括多个卷积层和多个池化层；分类网络包含并行连接的图像分类网络以及像素分类网络，图像分类网络包括顺次连接的全局平均池化层和全连接层和分类器，像素分类网络包括多个卷积层；

(2b)定义基于自适应亲和力和类别分配的弱监督语义分割模型A的损失函数L_total：

其中表示图像分类网络的多标签损失函数，和分别表示像素分类网络的交叉熵损失函数、自适应亲和力损失函数和类别分配损失函数，λ₁表示在L_total上的加权因子，λ₂表示在L_total上的加权因子，表示在s_k邻域尺度下的单一自适应亲和力损失函数，N^b表示邻域尺度的个数，N^b＞1，和是表示伪标签中的两个像素点i和j相关关系的集合，表示i和j在邻域尺度为s_k的情况下，类别标签均属于前景且类别标签相同，表示i和j的邻域尺度为s_k的情况下，类别标签均属于背景且类别标签相同，表示伪标签中的两个像素点i和j在邻域尺度为s_k的情况下，其类别标签不相同，和分别表示属于和集合中像素点的个数，和分别表示在集合和的约束下的单一分层自适应亲和力损失函数，表示计算像素分类网络输出的概率p_i与p_j相关关系的置信度，表示p_i与p_j的相似度，max表示求最大值，E_fg表示类别分配后伪标签中的像素点x_i属于前景的集合，E_bg表示类别分配后伪标签中的像素点x_i属于背景的集合，|E_bg|表示属于E_bg集合中像素点的个数，|E_fg|表示属于E_fg集合中的像素点的个数，α_i表示像素点x_i的类别分配置信度，表示像素分类网络输出的概率p_i与类别概率中心点c_i的距离，表示像素分类网络输出的概率p_i与类别概率中心点c_k的距离，N^a表示每幅训练图像中对应的类别标签个数，N^a＞1，和分别表示在集合E_fg和E_bg的约束下的分层类别分配损失函数；exp表示以自然常数e为底的指数函数，log表示以自然常数e为底的对数函数；

(3)对基于自适应亲和力和类别分配的弱监督语义分割模型A进行迭代训练：

(3a)初始化基于自适应亲和力和类别分配的弱监督语义分割模型A为A^t，A^t的权重为在ImageNet数据集上使用骨干网络VGG16训练的分类模型的权重θ^t，学习速率为α，迭代次数为t，最大迭代次数为T，T≥10⁵，并令t＝0，α＝0.0001；

(3b)将从训练样本集不放回随机选取的R幅训练图像作为基于自适应亲和力和类别分配的弱监督语义分割模型A^t的输入进行前向传播，语义特征提取网络提取每幅训练图像的语义特征，其中2≥R≥8；

(3c)图像分类网络对每个语义特征进行图像分类，得到每幅训练图像属于C类物体的概率，同时计算每个语义特征对应的训练图像的类激活图和初始伪标签，并采用条件随机场对每个初始伪标签中物体区域的分割边缘进行优化，得到图像分类网络输出的每幅训练图像的类激活图和伪标签；

(3d)像素分类网络对每个语义特征进行像素分类，得到每幅训练图像中每个像素属于C+1类目标的概率；

(3e)采用基于自适应亲和力和类别分配的弱监督语义分割模型A^t的损失函数L_total，并通过训练样本集中的类别标签，以及步骤(3c)和(3d)的输出结果，计算A^t的损失值L₅；

(3f)采用梯度下降法，并通过A^t的损失值L₅对A^t的权重θ^t进行更新；

(3g)判断t≥T是否成立，若是，得到训练后的弱监督语义分割模型A'，否则，令t＝t+1，并执行步骤(3b)；

(4)获取语义分割结果：

将测试样本集中的每幅测试图像作为训练后的弱监督语义分割模型A'的输入进行前向传播，语义特征提取网络提取每幅测试图像的语义特征，像素分类网络对每个语义特征进行像素分类，得到每幅测试图像中每个像素属于C+1类目标的概率，并选择其中最大概率对应的目标类别作为每幅测试图像中每个像素的语义标注，最终获得具有像素语义标注的图像作为语义分割结果。