[发明专利]用于图像到视频重识别的系统和方法

权利要求书

1.一个或多个非暂时性计算机可读存储介质，所述一个或多个非暂时性计算机可读存储介质存储可由一个或多个处理器执行的指令，其中所述指令的执行使所述一个或多个处理器执行操作，所述操作包括：

获得根据修改后的三元组损失至少基于教师网络与学生网络之间的知识蒸馏来训练的模型；

获得图像和多个视频；

将所述图像和所述多个视频提供给所述模型以获得所述图像的一个或多个第一特征和所述多个视频中的每一个视频的一个或多个第二特征；以及

根据所述一个或多个第一特征和所述一个或多个第二特征来确定所述多个视频中的与所述图像匹配的一个或多个视频。

2.根据权利要求1所述的一个或多个非暂时性计算机可读存储介质，其中：

所述教师网络是被配置为识别查询视频与所述教师网络的视频的图库之间的匹配的视频到视频重识别网络；并且

所述学生网络是被配置为识别查询图像与所述学生网络的视频的图库之间的匹配的图像到视频重识别网络。

3.根据权利要求1所述的一个或多个非暂时性计算机可读存储介质，其中获得所述模型包括：

对于第一次训练，至少基于使用多个视频作为所述教师网络的输入训练数据来训练所述教师网络；以及

对于第二次训练，至少基于以下各项一起训练所述教师网络和所述学生网络：(i)对于一个或多个对象中的每一个对象，使用所述对象在不同视图下的多个图像作为所述教师网络的输入训练数据，以及(ii)对于所述一个或多个对象中的每一个对象，使用所述多个图像的子集作为所述学生网络的输入训练数据。

4.根据权利要求3所述的一个或多个非暂时性计算机可读存储介质，其中：

对于所述第二次训练，所述教师网络被配置为通过所述知识蒸馏将时间信息转移到所述学生网络。

5.根据权利要求4所述的一个或多个非暂时性计算机可读存储介质，其中：

所述知识蒸馏包括自我蒸馏或交叉蒸馏。

6.根据权利要求1所述的一个或多个非暂时性计算机可读存储介质，其中获得所述模型包括：

至少基于全局平均池化从所述教师网络的输入训练数据中提取多个教师特征；以及

至少基于全局平均池化从所述学生网络的输入训练数据中提取多个学生特征。

7.根据权利要求6所述的一个或多个非暂时性计算机可读存储介质，其中获得所述模型还包括：

至少基于基于所述教师特征的三元组损失(L^t_TR)来训练所述教师网络。

8.根据权利要求6所述的一个或多个非暂时性计算机可读存储介质，其中获得所述模型还包括：

至少基于相互对数蒸馏损失(L_MKD)来训练所述教师网络和所述学生网络；并且

所述相互对数蒸馏损失(L_MKD)包括(i)至少基于所述教师特征和所述学生特征的学生到教师对数蒸馏损失以及(ii)至少基于所述教师特征和所述学生特征的教师到学生对数蒸馏损失。

9.根据权利要求6所述的一个或多个非暂时性计算机可读存储介质，其中获得所述模型还包括：

通过使用批内难样本挖掘来选择所述教师特征的一部分和所述学生特征的一部分；以及

使用所述教师特征的所选部分和所述学生特征的所选部分作为所述修改后的三元组损失的输入。

10.根据权利要求6所述的一个或多个非暂时性计算机可读存储介质，其中：

所述修改的三重损失包括相互三阶蒸馏损失；并且

所述三阶相互蒸馏损失包括学生到教师三阶蒸馏损失和教师到学生三阶蒸馏损失。