[发明专利]基于跨图像相似度关系的语义分割知识蒸馏方法及系统

权利要求书

1.一种基于跨图像相似度关系的语义分割知识蒸馏方法，其特征在于，包括：

步骤1、获取由多张图像构成的训练集，将训练集中图像分别输入教师模型和学生模型，得到该图像的教师特征图和学生特征图，分别集合所有图像的教师特征图和学生特征图，构成教师特征图集和学生特征图集；

步骤2、统计该教师特征图集中两两特征图间像素的相似度，得到教师图像相似度矩阵，统计该学生特征图集中两两特征图间像素的相似度，得到学生图像相似度矩阵；

步骤3、统计该两两特征图的该教师图像相似度矩阵和该学生图像相似度矩阵的最小平方误差，作为该两两特征图的误差，集合该训练集中所有两两特征图的误差，得到总误差；

步骤4、根据该总误差采用随机梯度下降训练更新该学生模型，直到该总误差收敛或达到预设迭代次数，保存当前学生网络作为最终语义分割模型，将待语义分割图像输入该最终语义分割模型，得到该待语义分割图像的语义分割结果。

2.如权利要求1所述的基于跨图像相似度关系的语义分割知识蒸馏方法，其特征在于，该步骤4包括：该最终语义分割模型提取该待语义分割图像的准确特征，通过分类器对该准确特征中每一个特征像素点进行分类，从而得到该语义分割结果。

3.如权利要求1所述的基于跨图像相似度关系的语义分割知识蒸馏方法，其特征在于，

该步骤1包括：给定训练集中图像x，以及教师模型f^t和学生模型f^s，两者推理产生教师特征图和学生特征图

F^t＝f^t(x),F^s＝f^s(x)

其中H、W和d分别是特征图高度、宽度和通道数；

教师模型f^t和学生模型f^s可以分别输出得到M个特征图，分别构成该教师特征图集和该学生特征图集

该步骤2包括：对于该教师特征图集和该学生特征图集中第i张图像和第j张图像，计算两者对应像素特征和的相似度矩阵其中T表示矩阵转置，分别得到该教师特征图集和该学生特征图集的像素相似度矩阵：

该步骤3中总误差L为：

式中a和b分别是矩阵的行索引和列索引。

4.如权利要求1所述的基于跨图像相似度关系的语义分割知识蒸馏方法，其特征在于，该教师模型的网络规模大于该学生模型的网络规模；该训练集为汽车自动驾驶任务所需图像。

5.一种基于跨图像相似度关系的语义分割知识蒸馏系统，其特征在于，包括：

初始模块，用于获取由多张图像构成的训练集，将训练集中图像分别输入教师模型和学生模型，得到该图像的教师特征图和学生特征图，分别集合所有图像的教师特征图和学生特征图，构成教师特征图集和学生特征图集；

第一统计模块，用于统计该教师特征图集中两两特征图间像素的相似度，得到教师图像相似度矩阵，统计该学生特征图集中两两特征图间像素的相似度，得到学生图像相似度矩阵；

第二统计模块，用于统计该两两特征图的该教师图像相似度矩阵和该学生图像相似度矩阵的最小平方误差，作为该两两特征图的误差，集合该训练集中所有两两特征图的误差，得到总误差；

训练模块，用于根据该总误差采用随机梯度下降训练更新该学生模型，直到该总误差收敛或达到预设迭代次数，保存当前学生网络作为最终语义分割模型，将待语义分割图像输入该最终语义分割模型，得到该待语义分割图像的语义分割结果。

6.如权利要求5所述的基于跨图像相似度关系的语义分割知识蒸馏系统，其特征在于，该训练模块用于：该最终语义分割模型提取该待语义分割图像的准确特征，通过分类器对该准确特征中每一个特征像素点进行分类，从而得到该语义分割结果。