[发明专利]基于特征选择的多模态数据分类方法

说明书

本发明提供了一种基于特征选择的多模态数据分类方法，所述方法包括对多模态数据进行采集并处理，利用非线性核显式展开对数据进行展开表示，获得组合式高阶疾病特征，然后通过特征选择方法在高维特征空间中快速识别出关键的特征，构建集成学习模型，进行图像分类。本发明提供的方法能够充分利用了各模态中的数据信息，提升了分类准确率。

技术领域

本发明属于计算机图像处理技术领域，更具体地，涉及一种基于特征选择的多模态数据分类方法。

背景技术

随着信息技术的快速发展，数字图像的数量得到了迅速的增长。图像分类是计算机视觉领域和图像处理领域的热门问题之一，图像分类的主要目的就是对图像进行识别，同时区分出不同种类的图像。然而，由于图像的质量和内容千差万别，产生多种数据类型的图像特征，因此，用户如何有效地在不同模态下的图像数据中找到同一类图像已成为研究热点。

在互联网时代，每天都有大量的数据存在不同的模态出现在人们的日常生活中，例如，图像，视频，文本等等。由于不同信息资源的不同统计特性，发现不同模态之间的关系是非常重要的。多模学习可以相互提供补充信息，充分利用各个模态之间的内在关联性，因此，多模分类较单模态在准确率和可靠性方面通常能产生更好的性能。在现有的多模融合的应用领域，例如，阿尔兹海默症多模联合诊断较单模方法已经产生显著的成就；情感识别领域，利用多模态信息融合来识别情感就比单模态下更加准确可靠。因此，深入研究多模场景下的图像分类问题具有非常重要的理论意义和实用价值。

现有的特征选择方法在中小规模情况下能够有效的识别出一阶关键特征。然而，当多模态数据的特征之间呈现出超高维特性，现有的特征选择方法很难有效的从海量的特征集合中识别相互紧密相关的特征子集。

发明内容

本发明的目的是针对低阶空间特征选择方法无法有效揭示多模态数据特征之间的高阶关联关系存在的问题，提供一种基于特征选择的多模态数据分类方法，不仅充分利用多模态数据之间的内在关联与互补信息，而且能够有效地从海量数据集中识别出最紧密相关的特征，最终可以达到更好分类效果。

为了实现上述目的，本发明采用的技术方案是，基于特征选择的多模态数据分类方法，包括以下步骤：

步骤1)、基于给定的多模态数据集提取各模态数据的特征信息；

步骤2)、对步骤1)中提取的特征信息的维度进行扩展，将特征信息从低阶扩展为高阶得到高阶特征信息；

步骤3)、构建基于多模态数据的特征选择模型，将经步骤2)得到的高阶特征信息输入到特征选择模型，选择出与类别标签(分类方法中默认有类别存在)关系紧密的特征子集；

步骤4)、利用步骤3)得到的特征子集中的训练样本对各模态数据对应的子分类器进行训练；

步骤5)、将经过步骤4)训练的所有子分类器构建为一个集成分类器，将多模态数据输入集成分类器中，输出最终分类结果。

进一步的，步骤1)中所述的多模态数据及包括ADNI数据集和Office数据集，ADNI数据集包含三种模态MRI、PET和CSF下的数据；Office数据集包括mazon、dslr和webcam数据集；提取所有数据集的Surf和Decaf特征，并分别训练LeNet和AlexNet网络模型，获得Decaf-LeNet和Decaf-AlexNet特征。

进一步的，步骤2)中所述的特征信息的维度扩展包括如下步骤：采用非线性核显式展开方法对特征信息间高阶关系进行线性表示，将初始的特征信息进行维度扩展，将特征信息从低阶映射到高阶空间中，获得组合式高阶特征信息。

进一步的，所述步骤3)还包括采用Cutting Plane方法与整数规划相结合对选择出的特征子集进行更新，从中选择出关系最为紧密的高阶特征信息子集。