[发明专利]一种解释性主成分分析方法

说明书

技术领域

本发明涉及机器学习中语义相关的分类问题的数据降维等应用领域，具体涉及一种用于解释性语义分组的解释性主成分分析方法。

背景技术

随着数据科学的发展和人们对数据重视程度的加深，各类数据的数量越来越大，属性也越来越多，其中夹杂着有效信息和各种噪音，纷繁复杂，难以处理。在数据分析时，人们往往采用降低数据维度的方法来对多维度的数据进行预处理。传统的降维方法是按照某种数学计算进行表述，单纯考虑数值关系，而忽略了其中的语义因素。但事实上，针对具体问题时，由于分析数据的目的不同，即使对同一数据所赋予的具体语义也会有所不同，其解释更是各具千秋，往往会得到不同的结果。

在各种降维方法中，主成分分析方法是使用最多的方法之一，在各个领域有着广泛的应用和实践基础：如模式识别，生物、医学、化学等，并且在基础方法之上存在很多的演变算法。其确定主成分的方法主要是计算数值数据协方差矩阵的特征值，在选取特征值较大的属性作为主要成分，将非主成分作为噪音去掉。

在图像识别等实际应用问题中，数据存在大量特征，在主成分分析方法及其多种改进算法下有很好的效果。这类问题数据的特征主要在于数量，不存在实际语义，或者与实际语义无关。而与此相对，存在着另一类问题，即语义相关的分类问题，这类问题数据分析的目的与特征语义有较强的关联，人们对其分析结果的关注也更在意语义解释性，虽然使用单纯的数据分析方法可以得出一定的结果，但很多情况下的解释只能是数据决定的，这显然还有很大的提升空间。针对这类问题，本发明提出了一种新的方法，即解释性语义分组的主成分分析方法，重点从可解释性的角度来进行主要成分的选取。不仅提高了实际数据预处理的效果，更可以得到很好的解释性，使得实际结果可以和相应的解释结合起来，能让结果更具说服力。

基于语义的主成分分析方法与现有的主成分分析方法是存在显著区别的。主要表现在以下几点：1，主成分的选取：现有主成分分析方法认为，在特征信息取决于特征值的数值，换句话说，大值带更多的信息，而小特征值意味着更多的噪声；而在语义解释中，特征值较小的属性可能是本发明感兴趣的，或者对问题的理解上可能存在重要的意义。2，前提假设：现有主成分分析方法认为，特征向量的方向应该是相互正交的。如果存在较大方差的正交方向的数据，现有主成分分析的效果受到严重的影响。而在语义解释中，特征向量是正交的特征之间可能存在解释相关性，所以基于语义解释的主成分分析方法并不要求特征向量正交的这个前提条件。

发明内容

本发明要解决的技术问题是：针对现有技术的上述问题，提供一种基于解释性语义分组的降维方法，把解释性语义分组方法和主成分分析方法结合起来，达到更好的数据预处理和降维效果，从而能够得到更好的分类结果的解释性主成分分析方法。

为了解决上述技术问题，本发明采用的技术方案为：

一种解释性主成分分析方法，实施步骤包括：

1)获取原始数据，从原始数据中提取数据矩阵和属性集合；

2)针对属性集合中的每一个属性根据噪音必要性系数判断是否为噪音，并提取属性集合的解释性噪音IN和解释性全集IU，将解释性全集IU进行解释性划分处理得到解释性分组；

3)对数据矩阵计算协方差矩阵的特征选择，且将解释性分组经过解释性冗余的处理，参与到数据矩阵的协方差矩阵的特征选择过程中；

4)将选择得到的特征进行数据投影，得到解释性主成分分析结果。

优选地，步骤2)中针对属性集合中的每一个属性根据噪音必要性系数判断是否为噪音的详细步骤包括：针对属性集合中的每一个属性，首先计算该属性对应的噪音必要性系数，然后将该属性对应的噪音必要性系数和预设的阈值范围进行比较，如果落入预设的阈值范围则判定该属性为有用信息，否则判定该属性为噪音。

优选地，所述计算该属性对应的噪音必要性系数的函数表达式如式(1)所示；

式(1)中，NC_k表示第k个属性的对应的噪音必要性系数，f1_b为将属性f_k当做噪音之前的数据集分类后的F1分数，f1_a为将属性f_k当做噪音之前的数据集分类后的F1分数。

优选地，步骤2)中提取解释性噪音的函数表达式如式(2)所示；