[发明专利]一种基于图嵌入典型相关分析的特征层融合方法及其装置

说明书

本发明公开了一种基于图嵌入典型相关分析的特征层融合方法及其装置。该特征层融合方法包括：将所有模态中样本映射到同一分类结果的空间的投影矩阵，并对所述投影矩阵施加L21范数正则化，以实现同时在多个单模态特征空间中选择出独立互补特征；构造数据相似图矩阵，以表示所述单模态特征空间中样本点的相近关系；通过所述正则化目标函数为每个模态学习相应的投影矩阵，将多个模态数据投影到具备最大辨别力、最大相关性及最小冗余性的投影子空间中，实现多模态数据融合。本发明实现多模态数据融合，消除了原特征空间中冗余信息的干扰，提高单模态特征鉴别力，增强多模态样本集间的相关性，提升识别性能和稳定性，特征融合效果好，识别效果佳。

技术领域

本发明涉及数据特征融合技术领域的一种特征层融合方法，尤其涉及一种基于图嵌入典型相关分析的特征层融合方法，还涉及应用该方法的基于图嵌入典型相关分析的特征层融合装置。

背景技术

生物特征识别技术具有唯一性、稳定性等特点，已经被应用于多种身份验证场景，如指静脉识别、虹膜识别、手势识别、人脸识别等。这些识别方法虽然取得了较好的效果，但是由于仅利用单一的生物特征，难以满足高安全领域的应用要求，融合并分析多个模态数据显得至关重要。多模态融合已经在多个领域得到很好的应用，包括视听语音识别，情感识别，医学图像分析，多媒体事件检测等。

多模态融合一般可分为四类：传感器层融合、分数层融合、决策层融合和特征层融合。其中，传感器层融合旨在对未处理的原始数据进行分析和融合处理，此类融合方案在医学图像融合研究相对较多。分数层融合中，将多个生物特征匹配器输出的匹配分数合并在一起，将融合后分数作为新特征输入到分类算法中。决策层融合中，使用基于规则方法融合不同模态的分类器的输出来得到最终结果。特征层融合首先对每个模态各自的传感器信息进行特征提取，然后将多个生物特征向量进行融合处理，组成联合特征向量。其优点在于：能够在多个特征集中导出更加低维有效并有益于最终决策的特征向量集，因此，特征层融合引起了生物特征学研究界的广泛关注，并取得了快速进展。但是，现有的特征融合方法忽略了原单模态样本空间中样本之间的几何结构，并对单模态独立特征选择，识别效果较差。

发明内容

为解决现有的生物特征识别识别效果较差的技术问题，本发明提供一种基于图嵌入典型相关分析的特征层融合方法及其装置。

本发明采用以下技术方案实现：一种基于图嵌入典型相关分析的特征层融合方法，其包括以下步骤：

(1)将所有模态中样本映射到同一分类结果的空间的投影矩阵，并对所述投影矩阵施加L21范数正则化，以实现同时在多个单模态特征空间中选择出独立互补特征；其中，所述独立互补特征的选择方法包括以下步骤：

(1.1)建立初始目标函数；所述初始目标函数用于学习各种模态的投影矩阵，且包括第一项和第二项；所述第一项用于学习不同模态数据投影到公共空间的投影矩阵，所述第二项用于对投影矩阵进行约束，并在不同的单模态特征空间中实现特征选择；

(1.2)对所述初始目标函数进行半二次最小化优化，获得优化目标函数；以及

(1.3)通过元素正则化对所述优化目标函数进行更新，获得正则化目标函数；

(2)构造数据相似图矩阵，以表示所述单模态特征空间中样本点的相近关系；以及

(3)通过所述正则化目标函数为每个模态学习相应的投影矩阵，将多个模态数据投影到具备最大辨别力、最大相关性及最小冗余性的投影子空间中，实现多模态数据融合；其中，多模态数据融合方法包括以下步骤：

(3.1)确定多模态类内样本之间的相关性约束；

(3.2)根据所述相关性约束，建立准则函数以保持典型变量的唯一性；

(3.3)先将(1)获得的投影矩阵与每个模态学习获得的投影矩阵进行并集，再将并集获得的投影矩阵与原样本集融合获得投影后的特征集。