[发明专利]一种多特征维度堆融合的数据挖掘方法

摘要

本发明公开一种多特征维度堆融合的数据挖掘方法。该数据挖掘方法首先对特征体系按照业务维度进行划分，接着使用不同的特征子集训练模型并调优，然后子模型输出结果与初始特征组成新的特征集合，最后对新的特征集合进行堆融合训练并调优。本发明多特征维度堆融合算法主要用于解决单模型不稳定、容易过拟合问题，通过结合不同的学习模型加强模型稳定性和预测能力。由于单维度模型刻画能力有限，本发明各维度模型组合起来，则可全面理解整个维度的特征。

主权项

一种多特征维度堆融合的数据挖掘方法，其特征在于包括步骤：(1)划分多个特征维度：对特征体系按照业务维度进行分类，各特征维度之间相互补充，设计特征池featurepool＝{fc1，fc2，...，fcn}，fci表示单一特征维度；(2)子模型训练并调优：针对单一特征维度进行子模型训练，根据评价指标交叉验证调优模型，得到子模型输出Oci，总共有n个子模型及输出；(3)多样性及标准化处理：针对子模型输出格式不同，在融合之前要对子模型输出进行标准化；(4)堆叠组合子模型：子模型输出Oci与原始特征进行组合，通过Stacking方式进行模型融合；Stacking算法分为2层，第一层用不同的算法形成T个弱分类器，同时产生一个与原数据集大小相同的新数据集，利用该新数据集和一个新算法构成第二层的分类器；第一层包括两步；第一步，搜集每个基础学习器的输出信息到一个新的数据集中；对原始训练集各数据项而言，该新数据集代表每个基础学习器对各个数据项所属类的预测和训练集的数据的真实分类结果；保证生成基础学习器的训练数据集中不会出现存在问题的数据项；然后，将新的数据集作为新学习器的训练数据集；第二步，逐级筛选训练集及学习器；Stacking算法将初始的数据集与由初始数据集生成的基础学习器分别称为一级训练数据集和一级分类器，对应的，一级分类器的输出与真实分类的结果组成的数据集和第二个阶段的分类学习算法分别称为二级训练数据集和二级分类器。