[发明专利]基于轮廓信息的热红外语义分割无监督领域自适应方法

权利要求书

1.一种基于轮廓信息的热红外语义分割无监督领域自适应方法，其特征在于：该方法首先利用可见光图像及其语义分割标签预训练一个语义分割模型；使用在可见光图像领域训练的语义轮廓提取模型提取热红外图像语义轮廓；然后利用配对热红外图像及其语义轮廓，通过逐类别显著性区域分割以及全连接条件随机场，获得热红外图像的语义分割伪标签；最后利用热红外图像及其语义分割伪标签，训练所述的在可见光图像领域预训练的语义分割模型，得到用于热红外图像语义分割模型；具体步骤如下：

第一步：语义分割模型预训练：

输入可见光图像语义分割数据集{(x_i,y_i)|i＝1,...,N_S}，其中x_i表示第i幅可见光图像，y_i表示其对应的语义分割标签，N_S表示可见光图像数量；语义类别数C；以及一个语义分割模型h，给定训练的损失函数；将可见光图像x_i送入语义分割模型作为输入，得到语义分割预测结果计算语义分割标签y_i与语义分割预测结果的损失函数以衡量预测结果与标签差异程度；利用梯度反向传播算法将损失函数对语义分割模型各层参数θ偏导求出；然后使用小批量随机梯度下降算法按学习率更新各个参数以求减小损失函数；

第二步：语义轮廓提取：输入可见光图像语义分割数据集{(x_i,y_i)|i＝1,...,N_S}，输入语义轮廓提取模型h(θ_SC)；具体如下：

通过对可见光图像的语义分割标签进行处理，将语义分割标签y_i转换为语义轮廓的标签s_i；处理完成得到可见光语义轮廓数据集{(x_i,s_i)|i＝1,...,N_S}；运用该可见光语义轮廓数据集训练语义轮廓提取模型以提取热红外图像的语义轮廓；与语义分割模型相似，所述的语义轮廓提取模型是近似拟合一个映射，将其记为h(θ_SC)；经过训练，语义轮廓提取模型能够提取热红外图像的语义轮廓，因此得到热红外图像与其对应的热红外图像语义轮廓数据集{(x_j,s_j)|j＝1,...,N_T}，其中x_j表示第j幅热红外图像，s_j表示其对应的语义轮廓，N_T表示热红外图像数量；

第三步：使用逐类别语义显著性区域分割，从语义轮廓生成语义分割伪标签

逐类别的语义显著性分割表示为其中f为从{(x_j,s_j)|j＝1,...,N_T}到的映射；首先对热红外图像x_j进行超像素分割，对于热红外图像中的每个超像素r，计算其各个类别的语义轮廓强度平均对每个类别c，基于各个超像素与其强度值构建一个无向图G_c＝(V_c,E_c)，其中V_c是图的节点，E_c为图的边；语义类别c超像素r的显著性强度由计算该无向图上超像素r到该类别的背景节点集B的最短测地线距离得到，表示为

显著性检测后，对各个类别的显著性热图进行组合，即取各类别中显著性强度更高类别的作为组合后结果的类别，对于每个语义类别的显著性强度都为0的超像素，将其作为不感兴趣的类别；然后对各类别显著性区域进行二值腐蚀，并利用全连接条件随机场将较为粗糙的热红外语义伪标签进行细化，得到数据集其中表示热红外图像x_j对应伪标签；

第四步：运用第三步得到的热红外图像语义分割伪标签数据集训练利用可见光图像语义分割数据预训练的语义分割模型h(θ_VS)，将其转化为h(θ_TIR)；将热红外图像x_j作为模型输入，经过语义分割模型的前馈计算，得到输出的语义分割预测概率热图，对预测概率热图取最大化的操作，得到对应的语义分割预测结果然后计算热红外图像对应的语义分割伪标签与语义分割预测结果的损失函数以衡量预测结果与标签的差异程度；然后利用梯度反向传播算法计算语义分割模型的参数更新值，并利用随机梯度下降算法更新语义分割模型参数值θ；经过再训练，语义分割模型具有了对热红外图像进行语义分割的能力。

2.根据权利要求1所述的基于轮廓信息的热红外语义分割无监督领域自适应方法，其特征在于：第三步所述的背景节点集，对于属于前景的语义类别，背景节点集包含图像四个边界上的超像素集合；对于属于背景的语义类别，其背景节点集包含离该超像素更远的图像水平边界上的超像素集合。