[发明专利]基于PageRank的数据特征集降维方法

说明书

本发明公开了一种基于PageRank的数据特征集降维方法，涉及计算机技术领域。该方法采用多种特征选择算法结合计算各数据特征的重要性，采用PageRank的迭代法，计算各数据特征的PR值，继而实现对原始数据特征集中各数据特征的排序，从所得到的数据序列中取出一定数量的数据特征构成待测数据特征集，待测数据特征集的数量为原始数据特征集中的数据特征个数，各待测数据特征集中数据特征序次与数据序列保持一致，各待测数据特征集中的数据特征个数不同，利用随机森林得到个待测数据特征集的F1分数，将F1分数最高的待测数据特征集作为降维结果输出。该方法易于实现原数据特征集的自动降维，能够适用于不同数据特征集的降维，并节省用户大量的时间和精力。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种基于PageRank的数据特征集降维方法。

背景技术

在机器学习中，我们使用的数据特征集一般存在特征冗余的问题，这些特征不仅会增加训练成本，还会影响模型的结果。为了方便对数据特征集进行数据分析，需要从数据特征集中提取出部分有效的业务数据作为特征数据。其中一种方法是把高维数据直接降维转化为低维数据，如PCA,SVD,t-SNE等。另一个方法是特征选择，即通过某种算法来挑选出数据特征集中有代表性的特征，去除冗余的特征，目前流行的有LASSO，ANOVA，mRMR等。上述的第一种方法使用过程中用户往往不能确定究竟要降到多少维才是最优的。上述的第二种方法也面对这种问题，用户也不能确定究竟要挑选多少个特征才是最好的。而且不同的方法通常适用于不同的数据特征集，用户必须逐个测试，十分浪费时间和人力。

发明内容

本发明在于提供一种基于PageRank的数据特征集降维方法，其能够缓解上述问题。

为了缓解上述的问题，本发明采取的技术方案如下：

本发明提供了一种基于PageRank的数据特征集降维方法，包括以下步骤：

S01、读取数据文件，获取待处理的原始数据特征集；

S02、采用多种特征选择算法计算所述原始数据特征集中各数据特征的重要性，对于每一种特征选择算法，其均得到一个将各数据特征按重要性依次排序的数据特征序列Ⅰ；

S03、将所有的数据特征序列Ⅰ进行组合，并构成一有向图；

S04、以有向图作为输入，采用PageRank的迭代法，计算各数据特征的PR值，并按PR值大小，将各数据特征依次排序，得到一数据特征序列Ⅱ；

S05、初始化N＝1，定义数据特征序列Ⅱ中数据特征的总个数为M；

S06、将数据特征序列Ⅱ中的前N个数据特征取出，并构成待测数据特征集，将待测数据特征集输至随机森林中进行评估，得到待测数据特征集的F1分数并保存；

S07、若N≠M，则N＝N+1，跳转至步骤S06，否则继续执行步骤S08；

S08、将F1分数最高的待测数据特征集作为降维结果输出，完成数据特征集的降维。

本技术方案的技术效果是：通过采用将PageRank结合多个特征选择算法对原数据特征集中各数据特征进行排序，集成了多种特征选择算法的优点，易于实现原数据特征集的自动降维，无需确定要降到多少维才是最优的，也无需确定需要从原数据特征集挑选多少个数据特征，能够适用于不同数据特征集的降维，并节省用户大量的时间和精力。

可选地，所述步骤S01中，需要对数据文件的格式进行判断。

本技术方案的技术效果是：可以方便用户使用，减少输入参数的个数。

可选地，所述步骤S02中，数据特征越重要，其在数据特征序列Ⅰ中的排名越靠前。