[发明专利]基于人脸、指纹和指静脉特征的多模态识别装置及方法

权利要求书

1.基于人脸、指纹和指静脉特征的多模态识别方法，其特征是，包括以下步骤：

步骤S1：基于人脸、指纹和指静脉特征的多模态识别装置的准备和启动；

将人脸对准第一相机，手指伸入装置壳体上的手指伸入孔内，手指顶端抵住指纹采集模块，启动多模态识别装置的近红外光照射源、第一相机及第二相机，自动光源控制电路调整近红外光照射源光照强度；

所述步骤S1包括：

步骤S11：将手指伸入装置壳体上的手指伸入孔内，打开多模态识别装置的近红外光照射源，形成均匀覆盖在手指上表面的近红外光；将手指顶端抵在指纹采集模块上；

将人脸对准第一相机，第一相机采集人脸图像；

步骤S12：启动第二相机，自动光源控制电路控制近红外光照射源，使近红外光照射源发出近红外光，第二相机对手指下表面进行拍摄得到手指静脉图像；

所述步骤S12的自动光源控制电路控制近红外光照射源的过程为：

步骤S121：第二相机采集一帧指静脉图像；

步骤S122：自动光源控制电路的微处理器将采集到的静脉图像设定范围的中心区域，对中心区域进行灰度值的统计，若中心区域内的灰度值平均值大于预先设定的灰度值阈值范围，则图像过亮，反之图像过暗；

步骤S123：微处理器根据步骤S122的判断结果，向控制电路模块发出相应的光源亮度调整信号，再转入步骤S122，直到手指经脉图像设定范围的中心区域的灰度值落在设定的阈值范围内，表示近红外光照射源发出的光源强度大小合适；此时第二相机对手指下表面进行拍摄得到满足需要的指静脉图像；

步骤S2：待光源强度稳定后，第一相机处采集人脸的原始图像，第二相机处采集伸入手指静脉的手指原始图像，指纹模块采集指纹的原始图像；

步骤S3：将步骤S2判断得到的活体图像进行去噪和图像增强处理，判断所得到的人脸、指纹及指静脉图像是否均为活体；若其中图像有假体，则删除假体图像；

所述步骤S3中判断所得到的人脸、指纹及指静脉图像是否均为活体的过程为：

分别提取经过预处理后的人脸、指纹和指静脉图像的DCT系数，将提取的经过预处理的的人脸、指纹和指静脉图像的DCT系数分别对应与活体数据库的人脸、指纹和指静脉图像的DCT系数进行比对，若比对一致，判断图像为活体图像；提取活体图像的特征；

活体数据库的建立过程：

步骤(301)：采集活体人脸图像、活体指纹图像和活体指静脉图像；

步骤(302)：提取活体人脸图像的DCT系数、提取活体指纹图像的DCT系数和提取活体指静脉图像的DCT系数；

步骤(303)：通过活体人脸图像的DCT系数训练出活体人脸特征库；通过活体指纹图像的DCT系数训练出活体指纹特征库；通过活体指静脉图像的DCT系数训练出活体指静脉特征库；

步骤(304)：判断训练是否结束，若是则得到的活体人脸特征库、活体指纹特征库或活体指静脉特征库组成活体数据库；若否，则返回步骤(301)；

将提取的经过预处理的的人脸、指纹和指静脉图像的DCT系数分别对应与假体数据库的人脸、指纹和指静脉图像的DCT系数进行比对，若比对一致，判断图像为假体图像；不提取此图像的特征；

假体数据库的建立过程:

步骤(311)：采集假体人脸图像、假体指纹图像和假体指静脉图像；

步骤(312)：提取假体人脸图像的DCT系数、提取假体指纹图像的DCT系数和提取假体指静脉图像的DCT系数；

步骤(313)：通过假体人脸图像的DCT系数训练出假体人脸特征库；通过假体指纹图像的DCT系数训练出假体指纹特征库；通过假体指静脉图像的DCT系数训练出假体指静脉特征库；

步骤(314)：判断训练是否结束，若是则得到的假体人脸特征库、假体指纹特征库或假体指静脉特征库组成假体数据库；若否，则返回步骤(311)；

根据伪造图片与真实图片在细节清晰度上的差别，对活体和假体进行识别；

判断所得到的人脸、指纹及指静脉图像是否均为活体，分为以下七种情况：

(1)活体人脸图像、活体指纹图像和活体指静脉图像；

(2)假体人脸图像、活体指纹图像和活体指静脉图像；

(3)活体人脸图像、假体指纹图像和活体指静脉图像；

(4)活体人脸图像、活体指纹图像和假体指静脉图像；

(5)假体人脸图像、假体指纹图像和活体指静脉图像；

(6)假体人脸图像、活体指纹图像和假体指静脉图像；

(7)活体人脸图像+活假体指纹图像和假体指静脉图像；

步骤S4：分别提取步骤S3判断得到的活体图像特征；

所述步骤S4中，提取特征的过程为：

提取人脸图像的PCA特征记为Feature_renlian；提取指纹图像的断点及分叉点特征记为Feature_zhiwen；提取指静脉的细节点作为特征记为Feature_jingmai；分别求取三类特征的fisher vector分别记为FV_renlian、FV_zhiwen和FV_jingmai；

步骤S5：将步骤S4所提取的特征在特征层进行融合得到新的特征；

步骤S5：将步骤S4所提取的特征在特征层进行融合得到新的特征，分为以下七种情况：

(1)人脸、指纹和指静脉特征融合得到的特征库；

(2)人脸、指纹特征融合得到的特征库；

(3)人脸、指静脉特征融合得到的特征库；

(4)指纹、指静脉特征融合得到的特征库；

(5)人脸特征训练得到的特征库；

(6)指纹特征训练得到的特征库；

(7)指静脉特征训练得到的特征库；

所述步骤S5中，特征融合的过程为：

将FV_renlian、FV_zhiwen和FV_jingmai进行串联，得到新的特征向量，并计算新的特征向量的fisher vector，将新得到的fisher vector记为FV_ronghe；

步骤S6：利用融合得到的新的特征对分类器进行训练；生成训练特征库，利用训练特征库对测试人员进行多模态的身份认证；

身份认证的过程为：

将FV_ronghe送入KNN分类器中进行训练，生成训练特征库，然后将待测试者的身份与训练特征库作对比进行认证。

2.如权利要求1所述的基于人脸、指纹和指静脉特征的多模态识别方法所采用的基于人脸、指纹和指静脉特征的多模态识别装置，其特征是，还包括：壳体，壳体上设有手指伸入孔；

所述壳体内部，包括：光源模块、第一相机、第二相机、指纹采集模块、电源以及自动光源控制电路；所述电源分别与光源、第一相机、第二相机和指纹采集模块连接；所述光源模块与自动光源控制电路连接；

所述光源模块，包括若干个近红外光照射源，及覆盖在若干个近红外光照射源表面的毛玻璃散射板；所述近红外光照射源设置在壳体内手指伸入位置的上方；

所述第一相机设置在壳体的上方，第一相机的镜头设置朝壳体外面，第一相机采集人脸的原始图像；

所述第二相机设置在壳体内手指伸入位置的下方，第二相机的镜头朝向近红外光照射源；所述第二相机上覆盖有红外滤光片；所述指纹采集模块设置在壳体内部，将手指伸入装置壳体上的手指伸入孔内，手指顶端抵在指纹采集模块上。