[发明专利]一种基尼指数引导的基于自训练的语义分割方法

说明书

本发明公开了一种基尼指数引导的基于自训练的语义分割方法，本发明提出基尼指数指导的自训练方法，利用基尼指数作为选取更为准确伪标签的指标，引入更多可靠的监督信息，可靠性的伪标签进行自监督训练，基于衡量不确定性和赋予伪标签的方式在训练阶段引入正确的监督信息，减小源域和目标域的差异，提高语义标注精度。

技术领域

本发明涉及一种基于自训练的领域自适应语义标注方法，在伪标签的选取上与传统方法不同，以基尼指数为依据确定伪标签，属于模式识别与计算机视觉领域，可应用于自动驾驶、机器人视觉导航技术中。

背景技术

基于自训练的领域自适应语义分割方法使用的数据有两类：有标签的源域数据和无标签的目标域数据，源域采用标签作为监督信息，目标域采用伪标签作为监督信息，基于监督信息对网络进行训练，进而学习一个对目标域图像有较好的语义标注效果的模型。精确的无监督领域自适应语义分割对于模型学习阶段和使用阶段存在明显数据差异的应用至关重要，如自动驾驶、机器人导航等。

基于自训练的无监督领域自适应的主要思想是创建伪标签，并把伪标签作为训练阶段目标域图像的真实标签。基于自训练的无监督领域自适应方法需要解决的最大的问题是如何获取正确的伪标签，错误的伪标签可能最终导致“确认偏差”，即错误的伪标签作为监督信息使用时成为噪声使得训练得到的模型表达性能更差。

为了有效获取尽可能正确的伪标签，现有的策略包括：基于网络输出的预测选取伪标签；基于网络输出预测的不确定性的度量选取伪标签。Softmax-based Self-supervised Learning(SSL)基于网络输出的预测选取伪标签，该方法事先设定一个阈值，softmax分数大于阈值的像素赋予最大预测分数值对应的类标签作为像素的伪标签。此方法在迭代的初始阶段会产生错误标签，但是随着迭代次数的增加，分类器在测试数据集上的性能有所改善，因而标签的正确率有所提升。该方法的问题在于模型对像素的预测高度不确定的情况下(例如边界像素)选取伪标签容易出错，即高于阈值的softmax分数不代表对应的预测标签是正确的。针对此问题，研究人员提出对网络输出预测的不确定性进行度量并基于不确定性选取伪标签，Entropy-based Self-supervised Learning(ESL)即是典型此类方法，此方法计算网络输出预测的熵值用于衡量预测的不确定性，并基于熵值选择伪标签以提高伪标签的可靠性。但此类方法在基于熵的梯度反向传播优化过程中，偏重优化易于分类的类别，即不易于分类类别的优化权重较易于分类类别的优化权重小，导致了不易于分类的像素精度不高的问题。

发明内容

为有效提高基于自训练框架的无监督领域自适应语义分割的准确率，本发明提出采用基尼指数度量输出预测的不确定性，并利用基尼指数指导伪标签的选取，即基尼指数小于设置阈值的像素赋予最大softmax分数对应的类标签作为伪标签。图1所示横坐标是输出预测概率，纵坐标是反向传播时基于不确定性度量(熵信息或基尼指数)的梯度。对比图1中预测概率[0.75,0.9]与预测概率[0.9,1]两个区间的反向传播的梯度：基于熵信息计算输出预测的不确定性时，用于反向传播的梯度在预测概率[0.9,1]区间远远大于预测概率[0.75,0.9]区间；采用基尼指数计算输出预测的不确定性时，用于反向传播的梯度在预测概率[0.9,1]区间与在预测概率[0.75,0.9]区间差距不大。即基于基尼指数计算的梯度在反向传播过程不会过度关注[0.9,1]区间的点，模型对预测概率[0.75,0.9]区间上的类别赋予的更新权重相对更大。已有研究成果指出，类别的IOU值与类别预测概率正相关。由于基尼指数相对熵指数在模型训练时更加注重输出预测概率[0.75,0.9]区间对应的点，因此可以提高预测概率在[0.75,0.9]区间上IOU值。因为区间[0.9,1]上选择伪标签已经比较准确，确保区间[0.75,0.9]上的类别预测的准确率保证了伪标签的正确性，有利于引入更多正确的监督信息，避免了噪声的引入。