[发明专利]一种基于晶体图结构的手指三模态融合识别方法及装置

说明书

本发明公开了一种基于晶体图结构的手指三模态融合识别方法及装置。所述基于晶体图结构的手指三模态融合识别方法，包括：分别对获取的指纹特征图像、指静脉特征图像和指节纹特征图像进行结构化表达，得到第一特征图、第二特征图和第三特征图；根据所述第一特征图、所述第二特征图和所述第三特征图，构造手指三模态晶体图；将所述手指三模态晶体图输入基于图卷积神经网络建立的识别模型，得到识别结果。本发明能够考虑手指三模态之间的关系有效融合手指三模态特征图像，并基于图卷积神经网络构建的识别模型进行手指三模态识别，从而提高手指三模态的识别精度与稳定性。

技术领域

本发明涉及生物识别技术领域，尤其涉及一种基于晶体图结构的手指三模态融合识别方法及装置。

背景技术

随着信息与科学技术的发展，广泛应用生物识别技术进行身份认证。人的手部包含指纹、指静脉、指节纹、掌纹、手型、指型、掌静脉、手背静脉等多种生物特征模态，其中指纹、指静脉和指节纹三个模态均能够实现身份认证。而在实际应用中，仅依靠手指单模态进行身份认证，识别精度与稳定性较低。近年来，虽然已提出基于深度神经网络的手指多模态融合识别方法，但其采用的融合方式较为单一，且未考虑到手指多模态之间的关系，导致融合效果不佳，影响识别精度与稳定性。

发明内容

为了克服现有技术的缺陷，本发明提供一种基于晶体图结构的手指三模态融合识别方法及装置，能够考虑手指三模态之间的关系有效融合手指三模态特征图像，并基于图卷积神经网络构建的识别模型进行手指三模态识别，从而提高手指三模态的识别精度与稳定性。

为了解决上述技术问题，第一方面，本发明一实施例提供一种基于晶体图结构的手指三模态融合识别方法，包括：

分别对获取的指纹特征图像、指静脉特征图像和指节纹特征图像进行结构化表达，得到第一特征图、第二特征图和第三特征图；

根据所述第一特征图、所述第二特征图和所述第三特征图，构造手指三模态晶体图；

将所述手指三模态晶体图输入基于图卷积神经网络建立的识别模型，得到识别结果。

进一步地，在所述分别对获取的指纹特征图像、指静脉特征图像和指节纹特征图像进行结构化表达，得到第一特征图、第二特征图和第三特征图之前，还包括：

分别对所述指纹特征图像、所述指静脉特征图像和所述指节纹特征图像进行预处理；其中，所述预处理包括图像增强处理。

进一步地，所述分别对获取的指纹特征图像、指静脉特征图像和指节纹特征图像进行结构化表达，得到第一特征图、第二特征图和第三特征图，具体为：

根据预设的行列数量对所述指纹特征图像进行网格划分，并按照无向加权图的图结构，以划分的网格作为节点构造所述第一特征图；

根据所述预设的行列数量对所述指静脉特征图像进行网格划分，并按照无向加权图的图结构，以划分的网格作为节点构造所述第二特征图；

根据所述预设的行列数量对所述指节纹特征图像进行网格划分，并按照无向加权图的图结构，以划分的网格作为节点构造所述第三特征图。

进一步地，所述根据所述第一特征图、所述第二特征图和所述第三特征图，构造手指三模态晶体图，具体为：

根据预先定义的特征图叠放顺序叠放所述第一特征图、所述第二特征图和所述第三特征图，并连接相邻特征图之间对应的节点，确定连接边的权重，得到所述手指三模态晶体图。

进一步地，所述将所述手指三模态晶体图输入基于图卷积神经网络建立的识别模型，得到识别结果，具体为：

对所述手指三模态晶体图中的每一节点进行卷积和池化操作，构造新的手指三模态晶体图；

计算所述新的手指三模态晶体图中相邻节点间的特征相似度，得到所述识别结果。