[发明专利]一种基于机器学习的海量数据中检测异常值的方法

权利要求书

1.一种基于机器学习的海量数据中检测异常值的方法，其特征在于，包括以下步骤：

步骤1、获取数据集，确定数据集中的数据类型，并对数据集进行回归分析，数据集包含三个字段，分别是taz、timeperiod、num，其中taz、num为数值型数据，timeperiod为时间日期型数据，根据不同的数据类型和回归分析的特性，选择合适的机器学习器；

所述选择合适的机器学习器包括以下步骤：

步骤1.1、考虑数据集中是否有缺失值和数据集大小，基于加法模型计算数据集的机器学习器适应性得分式中，d₁为是否有缺失值；d₂为变量数量，即列数；d₃为记录数量，即行数；

步骤1.2、根据机器学习器适应性得分score选择相应的机器学习器；

步骤2、将整个数据集输入机器学习器中进行简单训练，使机器学习器尽可能多的学习数据集中普遍特征的同时，尽可能少的学习数据个案中的非普遍特征，其中：简单训练包括以下步骤：

步骤2.1、在输入的数据集上构建特征，随后将构建完成的特征规范化，对timeperiod字段根据年、月、日、时、分、秒进行细化特征提取，同时对时间序列按照时间先后进行排序；

步骤2.2、设定机器学习器的参数；

步骤2.3、将特征输入到机器学习器，训练机器学习器至偏欠拟合的状态以减少对非普遍特征的学习，得到一个训练好的弱学习器；

步骤3、使用训练好的弱学习器对数据集中的所有个案进行预测，得到每个个案的预测值；

步骤4、将所有个案的预测值与真实值进行比较，设置容差大小，如果个案的真实值与预测值的差异大于容差，则认定为异常值，如果个案的真实值与预测值的差异小于容差，则认定为正常值；

步骤5、输出去除异常值之后的数据集。

2.如权利要求1所述的一种基于机器学习的海量数据中检测异常值的方法，其特征在于，在所述步骤2.1中采用标准化方法将特征规范化，将原始数据集归一化为均值为0、方差为1的数据集。

3.如权利要求2所述的一种基于机器学习的海量数据中检测异常值的方法，其特征在于，利用标准化方法将特征规范化包括以下步骤：

步骤2.2.1、设输入的数据集上构建的特征为v₁,v₂,…,v_n，计算特征v₁,v₂,…,v_n的均值μ和方差p；

步骤2.2.2、第i特征v_i规范化为v_i'，