[发明专利]一种边界合成、混合采样、异常检测算法及数据分类方法

权利要求书

1.一种边界合成算法，其特征在于，包括以下步骤：

设原始训练数据集为D，正类样本集为P，正类样本数目为pnum，负类样本集为N；

步骤一，通过BSMOTE算法将正类样本集P分成噪声样本集、边界样本集和安全样本集；

步骤二，在给定过采样率ratio的情况下，训练数据集需合成新样本的数量G得以确定，为每个正类边界样本赋予采样权值ω_j，由ω_j与G得到每一个正类边界样本应合成新样本的数目g_j；

步骤三，将步骤二所得的g_j个新样本与噪声样本集、安全样本集和负类样本集共同组成平衡的训练数据集。

2.根据权利要求1所述的一种边界合成算法，其特征在于，所述采样权值ω_j为：

式中，d_sumpj为正类边界样本到它m最近邻中各个正类样本距离之和，m为正类样本在原始训练数据集D中的最近邻数量，m'为正类样本最近邻中负类样本的数量。

3.一种混合采样算法，其特征在于，包括以下步骤：

设原始训练数据集为D，正类样本集为P，正类样本数目为pnum，负类样本集为N；

步骤一，使用欠采样方法和如上述所述的自适应边界合成算法分别对负类样本集和正类样本集进行重新采样；

步骤二，得到若干个平衡数据子集；

步骤三，以AdaBoost算法为基分类器G_t(x)，对若干个平衡数据子集进行处理，并为基分类器引入关于F1值的分类误差率ε_t'，并以分类误差率ε_t'计算基分类器G_t(x)的权值α_t；

步骤四，将若干个平衡数据子集的处理结果汇总与原始训练数据集合并后输出。

4.根据权利要求3所述的一种混合采样算法，其特征在于，所述分类误差率ε_t'为：

ε_t'＝ε_t*(1-F1_t)，式中，F1_t为第t次迭代时基分类器G_t(x)分类后的F1值。

5.根据权利要求4所述的一种混合采样算法，其特征在于，所述基分类器G_t(x)的权值α_t为：

6.根据权利要求5所述的一种混合采样算法，其特征在于，在t+1次迭代时，权值ω_t+1,i与t次迭代时的权值ω_ti的关系为：

其中Z_t是规范因子，使得p为调节参数，取值为[1,10]之间的整数。

7.一种异常检测算法，其特征在于，包括以下步骤：

步骤一，设置好参数，对数据进行预处理；

步骤二，将步骤一所得的数据利用iForest算法进行处理，滤除其中平均分割路径长度小于设定阈值的数据，保留平均分割路径长度不小于设定阈值的数据作为正常数据子集；

步骤三，利用LOF算法对步骤二中滤除的、平均分割路径长度小于设定阈值的数据进行处理，剔除其中不符合要求的数据作为异常数据子集，其余数据作为正常数据子集。

8.一种数据分类方法，其特征在于，包括以下步骤：

通过BSMOTE算法将正类样本集P分成噪声样本集、边界样本集和安全样本集；

在给定过采样率ratio的情况下，训练数据集需合成新样本的数量G得以确定，为每个正类边界样本赋予采样权值ω_j，由ω_j与G得到每一个正类边界样本应合成新样本的数目g_j；

将所得的g_j个新样本与噪声样本集、安全样本集和负类样本集共同组成平衡的训练数据集；

分别对负类样本集和正类样本集进行重新采样，得到若干个平衡数据子集；

以AdaBoost算法为基分类器G_t(x)，对若干个平衡数据子集进行处理，并为基分类器引入关于F1值的分类误差率ε_t'，并以分类误差率ε_t'计算基分类器G_t(x)的权值α_t；

将若干个平衡数据子集的处理结果汇总与原始训练数据集合并后输出；

设置好参数，对所得数据进行预处理；

将所得的数据利用iForest算法进行处理，滤除其中平均分割路径长度小于设定阈值的数据，保留平均分割路径长度不小于设定阈值的数据作为正常数据子集；

利用LOF算法对滤除的、平均分割路径长度小于设定阈值的数据进行处理，剔除其中不符合要求的数据作为异常数据子集，其余数据作为正常数据子集。