[发明专利]基于改进的离群点检测算法的计量大数据批量处理方法及系统

权利要求书

1.一种基于改进的离群点检测算法的计量大数据批量处理方法，其特征在于：包括如下步骤：

(1)对参与误差计算数据的数据模型进行整理，对同一类数据进行归类汇总；

(2)对归类汇总后的字符型数据进行统一清洗，对字符型数据内的特殊字符做为脏数据进行整理；

(3)根据改进的离群点检测算法建立数据处理模型，对数据计算中的临时结果、脏数据进行建模管理；

(4)利用数据分级算法，建立中间结果集，并通过数据分发汇聚的能力，将数据分散并建立数据冗余参与计算，实现对数据的离散存储。

2.根据权利要求1所述的一种基于改进的离群点检测算法的计量大数据批量处理方法，其特征在于：所述的建立数据处理模型包括如下步骤：

(1)利用拆解算法进行数据聚合，建立数据间主外键关系，加强数据关联性；

(2)基于相对密度的离群点检测算法对聚合的数据进行检测，正常数据的离散点分布集中在一个有效区域内，该区域外部的离散点为异常数据离散点，对该分离出来的异常数据进行归集及处理；

(3)异常数据验证，通过对离群点检测的异常数据与群点最大及平均值进行估算，锁定偏差，确定数据异常情况。

3.根据权利要求2所述的一种基于改进的离群点检测算法的计量大数据批量处理方法，其特征在于：所述相对密度的离群点检测算法的方法为：

首先，对于每一聚合的数据x，确定x的k-最近邻集合N(x,k)和密度density(x,k)；之后，对于每一聚合数据x，计算其相对密度realtive density(x,k)；最后，将各聚合数据的相对密度降序排列，确定相对密度大的，即明显偏离的若干聚合数据为离群点。

4.一种基于改进的离群点检测算法的计量大数据批量处理系统，其特征在于：包括

数据汇总模块，用于对参与误差计算数据的数据模型进行整理，对同一类数据进行归类汇总；

脏数据整理模块，用于对归类汇总后的字符型数据进行统一清洗、转化，对字符型数据内的特殊字符做为脏数据进行整理；

数据处理模块，用于根据改进的离群点检测算法建立数据处理模型，对数据计算中的临时结果、脏数据进行建模管理，保障数据的可追溯性；

离散存储模块，用于利用数据分级算法，建立中间结果集，并通过数据分发汇聚的能力，将数据分散并建立数据冗余参与计算，实现对数据的离散存储。

5.根据权利要求4所述的一种基于改进的离群点检测算法的计量大数据批量处理系统，其特征在于：所述的建立数据处理模型包括如下步骤：

(1)利用拆解算法进行数据聚合，建立数据间主外键关系，加强数据关联性；

(2)基于相对密度的离群点检测算法对聚合的数据进行检测，正常数据的离散点分布集中在一个有效区域内，该区域外部的离散点为异常数据离散点，对该分离出来的异常数据进行归集及处理；

(3)异常数据验证，通过对离群点检测的异常数据与群点最大及平均值进行估算，锁定偏差，确定数据异常情况。

6.根据权利要求5所述的一种基于改进的离群点检测算法的计量大数据批量处理系统，其特征在于：所述相对密度的离群点检测算法的方法为：

首先，对于每一原始数据聚合数据x，确定x的k-最近邻集合N(x,k)和密度density(x,k)；之后，对于每一聚合数据x，计算其相对密度realtive density(x,k)；最后，将各聚合数据的相对密度降序排列，确定相对密度大的，即明显偏离的若干聚合数据为离群点。