[发明专利]一种基于深度哈希的行人重识别方法和装置、计算机系统

权利要求书

1.一种基于深度哈希的行人重识别方法，其特征在于，该方法包括：

步骤一：行人检测，应用目标检测算法对视频中进行行人检测；

步骤二：特征提取，对视频中的检测到的行人图像进行哈希特征和深度特征提取；

步骤三：哈希检索，对提取出的行人哈希特征进行距离计算，然后根据距离的数值大小进行相似度的排序；

步骤四：二次检索，在哈希检索的基础上进行再次检索，采用深度特征提取，进行欧式距离的计算，然后再次排序，并返回排序结果；

所述步骤一行人检测，是应用目标检测算法对视频中进行行人检测，包括：

(1)收集行人相关监控视频，将该视频隔帧保存为图片，作为行人检测基本数据集；

(2)利用深度目标检测算法对每一帧待检测行人图像进行检测，并从检测出的行人区域中提取行人整体特征；

所述步骤二特征提取，是对视频中的检测到的行人图像进行哈希特征和深度特征提取，包括：

特征提取分为模型训练和模型推理两个阶段，训练阶段采用公开的行人重识别数据集，推理阶段采用行人检测步骤一中提取出的行人图片；

构建一个前向传播的深度哈希卷积神经网络，公式1和公式2来表示训练和推理的网络输入输出过程：

在公式1中，I指的是输入的图片数据，f₀指的是基础深度CNN网络，包含卷积层，池化层和全连接层FC₀，f₁指的是结构量化编码网络层，由全连接层FC₁和结构化编码层b₀组成；FC₂指的是最后具有C个类别的分类层，s指的是最后输出的C维分类概率的特征向量；在训练过程中，图片首先经过基础网络f₀，再经过是结构量化编码网络层f₁，最后经过分类的FC₂层；基础神经网络实现对行人特征的有效提取，结构量化编码网络层实现了对提取出的特征进行结构化编码的过程；最后的FC₂层作为分类损失层，作用于基础网络和量化编码层；整个训练过程中，有三个损失函数联合作用于网络；

哈希编码是一列固定长度的二进制码；在公式2中，h为最后得到的哈希特征；输入的图片数据首先经过基础网络f₀，再经过结构量化编码网络层f₁，最后通过哈希编码层b₁完成哈希编码，输出哈希特征h；在实际推理过程中，构建的网络会去除量化编码层b₀和全连接层FC₂；

阶段一：模型训练

(1)对公开数据集中的行人图形数据进行预处理和数据增强，再进行加载，得到图像数据；

(2)构建网络，公式1所示，构建训练的深度卷积神经网络，由基础深度CNN网络f₀、结构量化编码网络f₁和全连接层FC₂组成；

(3)联合损失函数

训练过程中损失函数的总表达式如下：

其中，I为图片数据，y为真实数据标签，T为小批量输入图片的个数，为三元损失函数，C(θ，y)为交叉熵分类损失函数，B(θ，y)为结构量化损失函数；三元损失函数使用全连接层FC₀输出的特征t，作用于基础网络f₀和全连接层FC₀；

三元损失函数的公式如下：

在公式(4)中，参数θ指的是损失函数作用的网络层，也就是基础网络f₀和全连接层FC₁；三元损失函数接受三组图片同时作为输入，a指的是锚点图片，p指的是和锚点图片为同一个人的图片，n指的是和锚点图片不是同一个人的图片；D_a，n指的是锚点图片和相同类别图片提取出的特征向量之间的距离；D_a，p指的是锚点图片和不同类别图片提取出的特征向量之间的距离；m指的是距离之间的最小阈值；

交叉熵分类损失函数的公式如下：

交叉熵分类损失函数为标准的分类函数，对全连接层FC₁输出的特征s进行归一化和对数处理后，与实际分类的数据计算误差；

结构量化损失函数公式入下所示：

公式6为总的结构量化损失函数，其中，M指的是特征向量中结构块的个数，K指的是单个结构块特征向量的维度；为量化编码层b₀输出的特征；是对取均值，公式8中T为批量输入图片数量的大小；E为熵值函数，公式9用来评估结构块特征分布的均匀程度；γ和μ为权重系数，用来调整试验效果；

量化编码层b₀是将全连接层FC₁输出的特征分成了M个子特征，每个子特征由K个数值构成，公式7对每个子特征进行了归一化处理；

(4)训练方法

训练方法分为两个步骤：

第一个步骤是不加入量化损失函数，利用三元损失函数和交叉熵损失函数联合训练基础网络，完成特征t的提取；

第二个步骤是固定住基础网络f₀的所有权重参数不变，联合损失函数中加入量化损失函数一起训练量化编码网层f₁和全连接层FC₂，训练至收敛；

阶段二：模型推理

(1)输入数据

对步骤提取的行人图形数据进行预处理，再进行加载，得到图像数据；

(2)构建网络，加载模型

公式2所示，构建训练的深度卷积神经网络，由基础深度CNN网络f₀、量化编码层f₁和哈希编码层b₁组成；加载训练阶段中训练好的网络模型，并去除多余网络层的权重参数；

(3)获取行人深度特征

加载模型后，输入图片数据进行运算，提取基础网络中全连接层FC₀的特征作为行人的深度特征；

(4)获取深度哈希特征

加载模型后，输入图片数据进行运算，提取量化编码网络中量化编码层FC₁的特征进行处理，获得行人的深度哈希特征；处理公式如下所示：

对于量化编码层FC₁输出的特征，分成M个子特征，将每个子特征的最大值设置为1，其余取0；按照公式10处理后的特征即为输入行人图像的哈希特征；

所述步骤三的哈希检索，对提取出的行人哈希特征进行距离计算，然后根据距离的数值大小进行相似度的排序，包括：

使用模块二中的特征提取，将图像库中的图片输入到网络中进行推理，得到图像库中的全部图像的哈希特征和深度特征，存入检索特征数据库中；

对于待检索的行人图像，同样输入到推理模型中进行推理，得到待检索的行人图像的哈希特征值和深度特征值；

使用上述步骤得到的待检索图像的哈希特征，计算待检索图像的哈希特征与检索特征数据库中的所有哈希特征值做汉明距离的计算，得到一系列的距离值；根据汉明距离值的大小，按照从小到大的顺序进行排序，最后将排序结果的前n项返回；

所述步骤四的二次检索，在哈希检索的基础上进行再次检索，采用深度特征提取，进行欧式距离的计算，然后再次排序，并返回排序结果，包括：

使用模块三中的哈希检索返回待检索图像的一系列相似的特征数据集，从检索特征数据库从提取出相应的深度特征，逐个与检索图像的深度特征进行欧氏距离的计算，得到距离值；根据欧氏距离值的大小，按从小到大的顺序进行排序，最后将排序结果的前N项返回给用户。

2.一种实现权利要求1所述基于深度哈希的行人重识别方法的识别装置，其特征在于，该装置包括：行人检测模块，对视频中出现的行人进行检测；特征提取模块，对视频中检测出来的行人提取深度哈希特征和深度特征；哈希检索模块：对提取出的行人哈希特征进行距离计算，然后根据距离的数值大小进行相似度的排序；二次检索模块：在哈希检索的基础上再进行表征特征的欧氏距离计算，返回最后的结果。