[发明专利]一种基于深度学习和哈希编码的人脸图像检索方法和装置

权利要求书

1.一种基于深度学习和哈希编码的人脸图像检索方法，其特征在于，包括以下步骤：

1)构建深度神经网络，所述深度神经网络包括人脸空间网络、哈希网络和损失模块；所述人脸空间网络用于为每一张人脸图像生成一个人脸空间热度图，降低背景信息对人脸特征提取的影响；所述哈希网络用于为人脸图像学习能够保留人脸图像的身份类别信息的哈希码；所述损失模块包含人脸空间损失，分类损失和二值量化损失；所述人脸空间热度图自动为人脸图像中具有强区分力的人脸区域的像素点生成较高的权重，为包括背景在内的区分力较低的图像区域中的像素点生成较低的权重；通过将人脸图像和对应的人脸空间热度图进行矩阵点乘的方式，在空间方向上降低背景信息对人脸特征提取的影响，同时增强具有较强区分力的人脸区域的信息的表达；哈希网络在融合多尺度人脸特征的同时为图像学习哈希码，其中，人脸特征通道增强模块为不同尺度的人脸特征生成权重向量，该权重向量在通道方向上，为人脸特征中具有强区分力的通道生成较高的权重，为区分力较弱的通道生成较低的权重；通过对人脸特征和对应的权重向量进行通道方向上的矩阵相乘的方式，增强人脸特征的区分力，使得最终生成的哈希码能准确的表达不同人脸之间的细微差别；人脸空间损失使得人脸空间网络学习自动挖掘图像中有区分力的人脸区域，使得人脸空间网络能够为输入的人脸图像生成有效的人脸空间热度图；

2)对所述深度神经网络进行训练，训练过程中根据所述分类损失和所述二值量化损失的加权和更新所述哈希网络，根据所述人脸空间损失更新所述人脸空间网络，从而得到最优的深度神经网络模型；

3)将数据库中所有的人脸图像和待查询的人脸图像输入所述最优的深度神经网络模型，得到每一张人脸图像所对应的哈希码；

4)计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，根据汉明距离的数值得到人脸图像检索结果。

2.根据权利要求1所述的方法，其特征在于，所述人脸空间网络包括多个卷积层、反卷积层；所述哈希网络包括多个卷积层、最大池化层、全连接层和人脸特征通道增强模块；所述人脸特征通道增强模块包括全连接层、激活函数层和归一化层；所述哈希网络中最后一个卷积层的输出和最后一个最大池化层的输出分别输入到两个所述人脸特征通道增强模块后，融合成一个多尺度的人脸特征，随后被输入到全连接层。

3.根据权利要求1所述的方法，其特征在于，步骤2)对所述深度神经网络进行训练，包括：

2.1)将人脸图像数据集分为训练集和测试集两部分，其中每一张人脸图像都有对应的人脸身份标签来表明该人脸的身份类别，将每一张训练集中的人脸图像输入到所述人脸空间网络，得到人脸空间热度图，将人脸图像和对应的人脸空间热度图进行矩阵点乘操作，得到空间加权图像；

2.2)将空间加权图像和原人脸图像分别输入到所述哈希网络；在所述哈希网络中，图像经过多个卷积层和池化层，得到不同尺寸的人脸特征，通过人脸特征通道增强模块为不同尺寸的人脸特征生成权重向量，不同尺寸的人脸特征和对应的权重向量进行通道方向的乘积操作之后，融合成一个人脸特征，并将其输入到全连接层中，最后哈希网络分别输出空间加权图像和原人脸图像的实数值类哈希向量；

2.3)所述损失模块根据实数值类哈希向量，计算空间加权图像和原人脸图像的分类损失和二值量化损失的加权和，反向传播更新所述哈希网络的参数，并计算人脸空间损失，反向传播更新所述人脸空间网络的参数，直到网络收敛且在测试集上的检索效果达到最优，得到最优模型。

4.根据权利要求1所述的方法，其特征在于，步骤3)通过所述最优的深度神经网络模型中的哈希网络为每一张人脸图像输出实数值类哈希向量，对该向量的每一维上的实数运用符号函数后，得到由1和-1组成的每一张人脸图像所对应的二值哈希码。

5.根据权利要求1所述的方法，其特征在于，步骤4)依次计算待查询人脸图像的哈希码和数据库中所有人脸图像的哈希码之间的汉明距离，按照汉明距离的数值升序排序，按序输出对应的原始人脸图像，得到人脸图像检索结果。