[发明专利]一种同构数据集特征质量可视化方法

摘要

一种同构数据集特征质量可视化方法，通过对同构的数据集特征及标签的样本分布进行统计，对特征集合内的任意特征，计算该特征的每个类别值其正样本发生率、规范化发生率、漂移度、综合发生率，最后以漂移度为半径、综合发生率为偏角，将该特征的类别值集合映射称极坐标系中的点集，进而特征质量图。这种特征质量可视化方法能有效应用于有监督学习中典型的四个特征工程问题：特征评估、特征归因、特征选择和特征改进。本发明使得有监督机器学习模型面对同构数据集但数据分布有趋势性漂移时，能够克服训练集和测试集分布差异问题，进而可以进行有效的特征评估、特征归因和特征选择，甚至通过改善特征以提升模型效果。

主权项

一种同构数据集特征质量可视化方法，其特征在于，至少包括以下步骤：步骤1，给定二分类有标签同构数据集，给定某特征f，构建特征的类别值集合V＝{v1，v2，…，vN}，将同构数据集按时间分成K个子集，记为D＝{d1，d2，。。。dK}；步骤2，对同构数据集D中的每个数据子集d，计算其整体正样本发生率r(d)，计算公式为r(d)＝pos(d)/ins(d)，其中pos(d)、ins(d)分别表示数据子集d中正样本数和样本总数；步骤3，对同构数据集D中的每个数据子集d，对类别值集合V中的每个类别值v，计算其正样本发生率r(v，d)，计算公式为r(v，d)＝pos(v，d)/ins(v，d)，其中pos(v，d)、ins(v，d)分别为数据子集d中包含类别值v的正样本数和样本总数；步骤4，对同构数据集D中的每个数据子集d，对类别值集合V中每个类别值v，计算其的规范化发生率sr(v，d)，计算公式为：sr(v，d)＝r(v，d)/r(d)；步骤5，对类别值集合V中每个类别值v，计算其综合发生率t(v)、漂移率s(v)，计算公式为：t(v)＝mean_over_d(sr(v，d))，即对K个规范化发生率求均值；s(v)＝std_over_d(sr(v，d))+1，即对K个规范化发生率求标准差并加1；步骤6，对类别值集合V中每个类别值v，以综合发生率t(v)为偏角、以漂移度t(v)为半径，将特征类别值绘制于极坐标系中，即极坐标p(v)＝(t(v)，s(v))；步骤7，在极坐标系中构造辅助圆，辅助圆半径为1，圆心为原点，构成特征f在同构数据集D上的特征质量图。