[发明专利]用于图像到视频重识别的系统和方法

说明书

一种计算机实现的方法包括：获得根据修改后的三元组损失至少基于教师网络与学生网络之间的知识蒸馏来训练的模型；获得图像和多个视频；将所述图像和所述多个视频提供给所述模型以获得所述图像的一个或多个第一特征和所述多个视频中的每一个视频的一个或多个第二特征；以及根据所述一个或多个第一特征和所述一个或多个第二特征来确定所述多个视频中的与所述图像匹配的一个或多个视频。

技术领域

本公开通常涉及图像到视频重识别，并且更具体地涉及经由相互判别知识转移的图像到视频重识别。

背景技术

图像到视频重识别(I2V Re-ID)是指给定对象的图像来从多个视频中识别对象的场景。例如，查询可以包括人或车辆的图像。基于查询，将从包括许多监视视频的图库集中识别捕获人或车辆的一个或多个视频。图像与视频之间的表示差距使I2V Re-ID问题变得解决起来有挑战。

发明内容

说明书的各种实施例包括但不限于用于图像到视频重识别的基于云的系统、方法和非暂时性计算机可读介质。

在一些实施例中，一个或多个非暂时性计算机可读存储介质存储可由一个或多个处理器执行的指令，其中所述指令的执行使所述一个或多个处理器执行操作，所述操作包括：获得根据修改后的三元组损失至少基于教师网络(teacher network)与学生网络(student network)之间的知识蒸馏(knowledge distillation)来训练的模型；获得图像和多个视频；将所述图像和所述多个视频提供给所述模型以获得所述图像的一个或多个第一特征和所述多个视频中的每一个视频的一个或多个第二特征；以及根据所述一个或多个第一特征和所述一个或多个第二特征来确定所述多个视频中的与所述图像匹配的一个或多个视频。

在一些实施例中，所述教师网络是被配置为识别查询视频与所述教师网络的视频的图库之间的匹配的视频到视频重识别网络；并且所述学生网络是被配置为识别查询图像与所述学生网络的视频的图库之间的匹配的图像到视频重识别网络。

在一些实施例中，获得所述模型包括：对于第一次训练，至少基于使用多个视频作为所述教师网络的输入训练数据来训练所述教师网络；以及对于第二次训练，至少基于以下各项一起训练所述教师网络和所述学生网络：(i)对于一个或多个对象中的每一个对象，使用所述对象在不同视图下的多个图像作为所述教师网络的输入训练数据，以及(ii)对于所述一个或多个对象中的每一个对象，使用所述多个图像的子集作为所述学生网络的输入训练数据。

在一些实施例中，对于所述第二次训练，所述教师网络被配置为通过所述知识蒸馏将时间信息转移到所述学生网络。

在一些实施例中，所述知识蒸馏包括自我蒸馏或交叉蒸馏。

在一些实施例中，获得所述模型包括：至少基于全局平均池化从所述教师网络的输入训练数据中提取多个教师特征；以及至少基于全局平均池化从所述学生网络的输入训练数据中提取多个学生特征。

在一些实施例中，获得所述模型还包括：至少基于基于所述教师特征的三元组损失来训练所述教师网络。

在一些实施例中，训练所述教师网络包括在不使用交叉熵分类损失的情况下训练所述教师网络。

在一些实施例中，获得所述模型还包括：至少基于成对距离损失(L_PD)来训练所述学生网络；并且所述成对距离损失(L_PD)包括以下各项之间的差异：(i)所述教师特征的至少一部分当中的一个或多个教师特征距离，所述教师特征距离中的每一个教师特征距离指示所述教师网络的两个不同输入之间的距离，以及(ii)所述学生特征的至少一部分当中的一个或多个学生特征距离，所述学生特征距离中的每一个学生特征距离指示所述学生网络的两个不同输入之间的距离。