[发明专利]一种基于多指标融合的数据集可分性度量方法

说明书

本发明公开了一种基于多指标融合的数据集可分性度量方法，涉及判别分析技术领域，包括以下步骤：预先基于采集的领域数据样本进行总体分布估计；进行从估计的统计模型中抽样，获取不同类间距d的模拟数据集{X,y}；针对每一组数据集，计算特征变量X与类标签y的多个原子指标并作为训练数据搭建回归模型；当采集到相同领域中的一组新数据集时，使用训练得到的回归模型进行可分性分析，其回归模型的输出值作为可分性度量。本发明实现设计了量化和综合的数据可分性度量指标，将贝叶斯错误率BER、分类准确率ACC、信息增益IG来自不同领域的异质指标融合为一个指标，消除了不同原子指标之间的不一致性，并降低了单个原子指标带来的偏差。

技术领域

本发明涉及判别分析技术领域，具体来说，涉及一种基于多指标融合的数据集可分性度量方法。

背景技术

分类是机器学习中的常见任务。获取到数据集后，开展分类研究的普遍做法是“试错法”，即研究人员不断尝试主流的分类模型(如支持向量机或神经网络)。依次训练并评估各个分类模型，直到找到理想的分类器获或所有分类器全部失败。这里隐藏着一个基本问题：数据集是否可分离，数据集在当前的分类任务中是否具备统计上的显著差异。

目前尚缺乏普遍被接受的数据集“可分性”度量，本发明将设计一种融合多种指标的数据集可分性度量。

针对相关技术中的问题，目前尚未提出有效的解决方案。

发明内容

针对相关技术中的问题，本发明提出一种基于多指标融合的数据集可分性度量方法，通过设计了量化和综合的数据可分性度量指标，将贝叶斯错误率BER、分类准确率ACC、信息增益IG来自不同领域的异质指标融合为一个指标，消除了不同原子指标之间的不一致性，并降低了单个原子指标带来的偏差，以克服现有相关技术所存在的上述技术问题。

本发明的技术方案是这样实现的：

一种基于多指标融合的数据集可分性度量方法，包括以下步骤：

预先基于采集的领域数据样本进行总体分布估计，其中包括获取统计模型；

从估计的统计模型中抽样，获取不同类间距d的模拟数据集{X,y}；

针对每一组数据集，计算特征变量X与类标签y的多个原子指标并作为训练数据搭建回归模型，原子指标包括贝叶斯错误率BER、分类准确率ACC和信息增益IG；

当采集到相同领域中的一组新数据集时，使用训练得到的回归模型进行可分性分析，其回归模型的输出值作为可分性度量。

进一步的，所述采集的领域数据样本，其数据集符合高斯多元分布。

进一步的，还包括以下步骤：基于d的取值，判断数据集的可分性或类间差别。

进一步的，所述基于d的取值，包括：

若d0.2，认为无可分性；

若0.2≤d0.5，认为有弱可分性；

若0.5≤d≤0.8，认为可分性中等；

若d0.8，认为数据集有显著统计差别，可分性高。

本发明的有益效果：

本发明基于多指标融合的数据集可分性度量方法，通过预先基于采集的领域数据样本进行总体分布估计从估计的统计模型中抽样，获取不同类间距d的模拟数据集{X,y}；进行对每一组数据集，计算特征变量X与类标签y的多个原子指标并作为训练数据搭建回归模型，当采集到相同领域中的一组新数据集时，使用训练得到的回归模型进行可分性分析，其回归模型的输出值作为可分性度量，实现设计了量化和综合的数据可分性度量指标，将贝叶斯错误率BER、分类准确率ACC、信息增益IG来自不同领域的异质指标融合为一个指标，消除了不同原子指标之间的不一致性，并降低了单个原子指标带来的偏差。