[发明专利]基于跨图像相似度关系的语义分割知识蒸馏方法及系统

说明书

本发明提出一种基于跨图像相似度关系的语义分割知识蒸馏方法，包括：统计该教师特征图集中两两特征图间像素的相似度，得到教师图像相似度矩阵，统计该学生特征图集中两两特征图间像素的相似度，得到学生图像相似度矩阵；统计该两两特征图的该教师图像相似度矩阵和该学生图像相似度矩阵的最小平方误差，作为该两两特征图的误差，集合该训练集中所有两两特征图的误差，得到总误差，以训练更新该学生模型，执行语义分割任务。通过迁移跨图像间的相似度关系，学生模型可以学习到教师模型全局像素特征关系依赖，从而提高语义分割准确度。

技术领域

本发明涉及图像语义分割技术以及图像分类技术领域，并特别涉及一种基于跨图像相似度关系的语义分割知识蒸馏方法及系统。

背景技术

图像语义分割是一个视觉上的基础任务，其目的是对图像上的每一个像素点进行分类，从而图像上的不同语义区域可以被分割出来。图像语义分割技术在自动驾驶，虚拟现实以及机器人领域具有广泛的应用价值。虽然现有的语义分割模型，可以在分割上获得很好的性能，但是也需要较大的计算代价。这个缺点限制了这些模型被部署在现实世界场景和资源限制的边缘设备。知识蒸馏作为一项模型压缩技术，可以利用教师教授学生的模式来提升学生网络的性能，这里教师模型通常是复杂度高但是性能优良的网络，学生模型通常是复杂度低但是性能不足的网络。通过知识蒸馏算法，可以使得部署的学生网络可以完成实际的任务性能需求同时需要极少的计算开销。

知识蒸馏算法的核心是定义一种有意义的知识形式，然后将该知识从教师模型传到学生模型，然后设计用于语义分割的知识形式是一个挑战性的问题。最早的特征蒸馏算法尝试直接利用原始特征进行教师-学生之间的对齐，但是没有考虑到结构化的相关度信息。后来的一些结构化知识蒸馏方法考虑建模样本之间的相似度信息作为有意义的知识形式，比如像素点到像素点之间的相似度分布和像素点到区域向量之间的相似度分布，其中区域向量代表了相同类别像素向量的聚类中心。除了在像素点维度上的关系抽取，通道蒸馏将特征通道级别的信息作为知识形式进行蒸馏。

现有方法能有效提升学生网络的性能，但是在一些复杂场景下分割质量不高。发明人发现现有技术中该项缺陷是由先前建模的知识形式导致的，该种知识形式仅仅是从单张图像中提取的，因此不能捕捉到整个数据集中更加广泛的关系依赖，造成不能对城市分割场景下的不同目标建立联系。

发明内容

发明人经过不同图像间的像素到像素关系型建模研究发现，解决该项缺陷可以通过跨图像像素建模全局的图像关系依赖的方法来实现。通过迁移跨图像间的相似度关系，学生模型可以学习到教师模型全局像素特征关系依赖，从而可以使得对语义分割的效果更好。

针对现有技术的不足，本发明提出一种基于跨图像相似度关系的语义分割知识蒸馏方法，包括：

步骤1、获取由多张图像构成的训练集，将训练集中图像分别输入教师模型和学生模型，得到该图像的教师特征图和学生特征图，分别集合所有图像的教师特征图和学生特征图，构成教师特征图集和学生特征图集；

步骤2、统计该教师特征图集中两两特征图间像素的相似度，得到教师图像相似度矩阵，统计该学生特征图集中两两特征图间像素的相似度，得到学生图像相似度矩阵；

步骤3、统计该两两特征图的该教师图像相似度矩阵和该学生图像相似度矩阵的最小平方误差，作为该两两特征图的误差，集合该训练集中所有两两特征图的误差，得到总误差；

步骤4、根据该总误差采用随机梯度下降训练更新该学生模型，直到该总误差收敛或达到预设迭代次数，保存当前学生网络作为最终语义分割模型，将待语义分割图像输入该最终语义分割模型，得到该待语义分割图像的语义分割结果。

所述的基于跨图像相似度关系的语义分割知识蒸馏方法，其中该步骤4包括：该最终语义分割模型提取该待语义分割图像的准确特征，通过分类器对该准确特征中每一个特征像素点进行分类，从而得到该语义分割结果。

所述的基于跨图像相似度关系的语义分割知识蒸馏方法，其中