[发明专利]一种基于深度学习和哈希编码的人脸图像检索方法和装置

说明书

本发明涉及一种基于深度学习和哈希编码的人脸图像检索方法和装置。该方法针对现有的人脸图像检索中人脸特征表达不充分、特征区分力不够的问题，提出人脸空间网络和人脸空间损失来自动地挖掘人脸图像中有区分力的人脸区域，降低背景信息的影响；同时哈希网络学习人脸特征和哈希码之间的内在关系，将人脸图像映射成哈希码，显著地降低检索的计算和存储代价；哈希网络中多尺度的人脸特征通道增强模块增强了人脸特征中区分力强的维度。本发明提供的交替训练的策略使得两个网络有机的融合在一起，减少了人脸特征提取和哈希码生成之间的信息损失，在增强了人脸特征的区分力的同时，增强了生成的哈希码的区分力，提高人脸检索的准确度。

技术领域

本发明属于信息技术、图像检索技术领域，具体涉及一种基于深度学习和哈希编码的人脸图像检索方法和装置。

背景技术

人脸图像检索是指，给定一张人脸图像，在数据库庞大的人脸图像中，找出与给定人脸图像身份一致的图像。这一工作在移动支付、安防等众多领域具有重要的实际应用价值。现阶段的人脸图像检索大致可分为传统的检索方法和基于深度学习的检索方法。

传统的人脸图像检索一般是一个两阶段的过程：第一阶段对人脸图像进行特征提取；第二阶段再对提取的特征做进一步的处理来提高检索效果。例如，中国专利(申请号：201110430327.9，公开号：CN102567483B)采用局部二值模式(LBP)算子对Gabor变换后的人脸图像进行特征提取，再将降维处理后的特征保存到特征库并为之建立特征索引。

随着深度学习的发展，利用卷积神经网络提取的图像特征在各项计算机视觉任务中取得了很好的效果。相比于传统的视觉底层特征，利用深度卷积神经网络提取的图像特征能表达更多图像内在的信息。一些研究工作尝试将深度学习方法运用在通用的图像检索中。例如，中国专利(申请号：201510901348.2，公开号：CN105512289B)将图像特征的学习和哈希码的学习结合在一个深度卷积网络中，提取图像特征的同时生成哈希码。通过对网络的训练，图像被映射成了保留图像语义信息和类别信息的二值哈希码。通过这种方法，图像间的相似度计算可以转换为高效的二值哈希码之间的汉明距离计算。降低了计算时间代价，并减少了空间存储开销。

对于传统的两阶段的方法，由于特征提取和对特征的进一步处理是两个独立的操作，中间存在一定的信息损失。并且，第二阶段完全依靠第一阶段对人脸图像的特征提取，如果在第一阶段中对人脸特征的提取不够充分，提取出的特征缺少区分力，第二阶段的效果将受到影响。

现有的基于深度学习和哈希的图像检索方法虽然能够做到利用端到端的网络结构能来减少上述二阶段过程中的信息损失，但是这些方法大都直接将图像输入神经网络提取特征，没有考虑人脸场景下的图像的特殊性。在人脸图像检索中，只有来自人脸区域的特征是有用的。而人脸图像中通常包含一定的背景区域。在提取特征时，现有基于深度学习的方法直接对原始图像提取特征，而没有考虑背景区域的负面影响，这会导致提取出的特征包含来自背景区域的信息。来自背景区域的信息不但不能对人脸图像检索起到帮助，甚至会干扰人脸区域的特征表达，进而影响到检索的准确度不高。

同时，对于从图像中提取出来的人脸特征，其不同维度上的人脸特征的区分力是不一样的。而现有的方法通常平等的对待每一个维度的人脸特征。这将导致学习到的哈希码难以表达出人脸间细小的差异，影响检索准确度。

发明内容

本发明的目的在于提供一种基于深度学习和哈希编码的人脸图像检索方法和装置，考虑人脸图像的特殊性，减少图像的背景信息对人脸特征的干扰，增强对有区分力的人脸特征的表达，为每一张人脸图像生成具有强区分力的二值哈希码，提高检索速度，降低存储开销，提高检索准确度。

本发明采用的技术方案如下：

一种基于深度学习和哈希编码的人脸图像检索方法，包括以下步骤：