[发明专利]一种基于广义协方差的鉴别分析方法

说明书

本发明公开了一种基于广义协方差的鉴别分析方法，包括以下步骤：利用广义协方差将每个特征向量从原始输入的空间非线性映射到新空间；计算类内和类间广义协方差矩阵；求解投影方向。本发明利用广义协方差，学习不同特征之间的非线性关系，改善在小样本问题下的分类性能表现，同时能够突破传统线性鉴别分析方法最多只能提取（类别数‑1）个特征的限制。

技术领域

本发明涉及成分分析领域，特别涉及一种基于广义协方差的鉴别分析方法。

背景技术

在模式识别和计算机视觉领域，诸如主成分分析、线性鉴别分析、典型相关分析等成分分析方法被广泛用于回归、分类、聚类以及视觉任务的数据表示学习。成分分析方法旨在从原始高维数据集中提取有用的低维成分用于所给任务的鉴别表示。学习低维成分和表示十分重要，其可以有效地提升计算机视觉任务的性能。

现有的成分分析方法可大致分为三类：无监督的、监督的以及半监督的方法。无监督的方法在紧凑表示学习中不使用训练数据的类别标签信息。与无监督成分分析方法相反，监督的成分分析方法在学习紧凑表示的过程中使用训练数据的标签信息。在现实生活中，由于获取大量带标签数据的代价十分高昂，通常情况是只有少量的带标签数据，大量数据都是无标签的。半监督成分分析方法的目标则是充分利用这样的数据来学习有用的低维特征表示。

尽管现有的基于协方差的成分分析方法已经被成功应用到了许多科学应用中，但他们只能描述不同特征之间的线性关系，同时，在小样本情况下，传统线性鉴别分析方法中的协方差矩阵是奇异的，且最多只能提取(类别数-1)个特征，限制了其性能表现。

发明内容

本发明的目的是克服现有技术缺陷，提供一种基于广义协方差的鉴别分析方法，解决了现有技术中协方差不能描述特征之间非线性关系、在小样本场景下协方差矩阵奇异以及传统线性鉴别分析方法最多只能提取(类别数-1)个特征的问题。

本发明的目的是这样实现的：一种基于广义协方差的鉴别分析方法，包括以下步骤：

步骤1利用广义协方差将每个特征向量从原始输入的空间非线性映射到新空间；

步骤2计算类内和类间广义协方差矩阵；

步骤3求解投影方向。

作为本发明的进一步限定，所述步骤1具体包括：对于已经给出的第i类训练数据其中N_i为第i类的样本数量，c为类别数目，D为样本特征的维度，定义为X_i的行向量，代表第i类样本的第j个特征组成的向量，定义一个非线性映射函数ψ(·)，将特征向量f_ij映射到一个新的空间

其中M表示ψ(f_ij)在新空间中的维度；

作为本发明的进一步限定，所述步骤2具体包括：对于X中任意两个特征向量f_ij和f_it，计算类内广义协方差矩阵其中第i类的第(j,t)项c_w,jt定义如下：

定义其中m_i和m分别为第i类训练样本的均值向量以及所有训练样本的均值向量，定义为A的行向量，计算类间广义协方差矩阵其中第(j,t)项c_b,jt定义为：

作为本发明的进一步限定，所述步骤3具体包括：

对于已经定义的C_w和C_b，基于广义协方差的鉴别分析方法旨在求解如下最优化问题(1)：

其中Tr(·)代表矩阵的迹，I为单位矩阵，W为待求解的投影方向；