[发明专利]一种用于图像检索的双重知识蒸馏方法

摘要

本发明公开了一种用于图像检索的双重知识蒸馏方法，该方法提出了由两个专业教师模型和一个学生模型组成的双重知识蒸馏(DKD)框架。两个专业教师模型分别是固定教师模型和动态教师模型。固定教师模型在前数据集的基础上接受训练，然后固定这些数据集的参数，以便转移之前学到的知识，使这些知识在新的任务学习中发挥作用。动态教师模型用来在新数据集的样本上与学生模型共同接受训练，负责学习新知识，是提高学生模型泛化能力的辅助模范。本发明还通过固定教师模型在BatchNorm层中存储的统计数据来生成旧数据集的代表性图像。本发明能逐步将已获得的知识转移到新任务中，同时对旧任务的遗忘率最小化。