[发明专利]由黑衣和头部图像指导的换衣行人重识别方法及装置

权利要求书

1.一种由黑衣和头部图像指导的换衣行人重识别方法，其特征在于，包括：

步骤1：从原始行人图像中删除衣服特征，得到黑色的衣服行人图像；

步骤2：使用预训练的HRNet对原始行人图像进行处理，得到原始行人图像中的行人头部图像；

步骤3：构建换衣行人重识别网络，该网络由三个网络分支组成，分别为原始分支、黑衣分支、头部分支，分别用于学习原始行人图像特征、黑色的衣服行人图像特征、行人头部图像特征；三个网络分支主干网络结构相同，但不共享参数；

步骤4：将步骤1得到的黑色的衣服行人图像输入黑衣分支中进行训练，得到预训练的黑衣分支；

步骤5：在预训练的黑衣分支的指导下训练原始分支，得到原始行人图像中与行人相关但与衣服不相关的特征；

步骤6：将步骤2得到行人头部图像输入头部分支中进行学习，并将学习到的行人头部图像特征与步骤5得到的与行人相关但与衣服不相关的特征相结合，得到与行人相关但与衣服不相关的总体特征，完成换衣行人重识别网络训练；

步骤7：基于训练后的换衣行人重识别网络进行换衣行人重识别。

2.根据权利要求1所述的由黑衣和头部图像指导的换衣行人重识别方法，其特征在于，所述步骤1包括：

采用预训练好的的人体解析模型，来获得原始行人图像中行人的各身体部位图像，并将得到的各身体部位图像重新组合，得到六个部分：背景、头部、上衣、裤子、手臂和腿，从中提取上衣和裤子图像的像素，形成衣服区域；将衣服区域的所有像素设置为零，得到黑色的衣服行人图像。

3.根据权利要求1所述的由黑衣和头部图像指导的换衣行人重识别方法，其特征在于，三个网络分支主干网络均为imViT网络，在每个imViT网络中，有两个输出分别用于提取全局特征和局部特征，主干网络由全局特征和局部特征上的三元组损失和ID损失分别进行优化，其中ID损失为没有标签平滑的交叉熵损失。

4.根据权利要求1所述的由黑衣和头部图像指导的换衣行人重识别方法，其特征在于，所述步骤5包括：

根据知识蒸馏算法，在预训练的黑衣分支的指导下训练原始图像的分支，采用均方差损失来规范原始分支的训练，以训练出更多与身份相关但与衣服不相关的特征。

5.一种由黑衣和头部图像指导的换衣行人重识别装置，其特征在于，包括：

黑衣图像得出模块，用于从原始行人图像中删除衣服特征，得到黑色的衣服行人图像；

头部图像得出模块，用于使用预训练的HRNet对原始行人图像进行处理，得到原始行人图像中的行人头部图像；

换衣行人重识别网络构建模块，用于构建换衣行人重识别网络，该网络由三个网络分支组成，分别为原始分支、黑衣分支、头部分支，分别用于学习原始行人图像特征、黑色的衣服行人图像特征、行人头部图像特征；三个网络分支主干网络结构相同，但不共享参数；

黑衣分支训练模块，用于将黑衣图像得出模块得到的黑色的衣服行人图像输入黑衣分支中进行训练，得到预训练的黑衣分支；

原始分支训练模块，用于在预训练的黑衣分支的指导下训练原始分支，得到原始行人图像中与行人相关但与衣服不相关的特征；

头部分支训练模块，用于将头部图像得出模块得到行人头部图像输入头部分支中进行学习，并将学习到的行人头部图像特征与原始分支训练模块得到的与行人相关但与衣服不相关的特征相结合，得到与行人相关但与衣服不相关的总体特征，完成换衣行人重识别网络训练；

换衣行人重识别模块，用于基于训练后的换衣行人重识别网络进行换衣行人重识别。

6.根据权利要求5所述的由黑衣和头部图像指导的换衣行人重识别装置，其特征在于，所述黑衣图像得出模块具体用于：

采用预训练好的的人体解析模型，来获得原始行人图像中行人的各身体部位图像，并将得到的各身体部位图像重新组合，得到六个部分：背景、头部、上衣、裤子、手臂和腿，从中提取上衣和裤子图像的像素，形成衣服区域；将衣服区域的所有像素设置为零，得到黑色的衣服行人图像。