[发明专利]一种异常数据检测参数的确定方法及确定装置

权利要求书

1.一种异常数据检测参数的确定方法，其特征在于，包括：

获取待处理的数据集；

设置多组异常数据检测参数，确定每组异常数据检测参数下所述待处理的数据集中异常点数量，得到异常点数量序列，其中，每组异常数据检测参数包括：区间数目和区间内数据数量阈值；

对异常点数量序列进行差分，确定差分序列的第一个极小值，得到最优的区间数目和区间内数据数量阈值；

根据得到的最优的区间数目和区间内数据数量阈值对待处理的数据集进行异常数据处理；

其中，在优化区间数目参数时，不同组中的区间内数据数量阈值相同，区间数目不同；在优化区间内数据数量阈值参数时，不同组中的区间数目都为得到的最优区间数目，区间内数据数量阈值不同；

其中，所述确定每组异常数据检测参数下所述待处理的数据集中异常点数量包括：

S21，按照预先设置的区间数目N，将待处理的数据集等分成N个区间；

S22，统计落在每个区间范围上数据的数量；

S23，判断第一区间内的数据数量是否大于预先设置的区间内数据数量阈值k，若是，则第一区间为正常区间，否则，第一区间为异常点候选区间，其中，第一区间为任意区间；

S24，判断异常点候选区间内的任意数据是否满足预设的异常区间判断规则，若满足，则异常点候选区间为异常点区间；

S25，确定异常点区间中异常点数量；

其中，在优化区间数目时，设置多组异常数据检测参数，确定每组异常数据检测参数下所述待处理的数据集中异常点数量，得到异常点数量序列包括：

设置初始区间内数据数量阈值k₀，分别设定区间数目参数N为固定步长的一系列数值：N₁、N₂...N_i...N_m，i＝1,2…m，重复执行S21-S25，其中，在S21和S23中异常数据检测参数分别为N＝N_i，k＝k₀，得到m个待优化的区间数目参数N对应的异常点数量，记为异常数据量序列NY；

其中，对异常点数量序列进行差分，确定差分序列的第一个极小值，得到最优的区间数目包括：

对异常数据量序列NY按公式dNY_i＝NY_i-NY_i-1进行差分，得到差分序列dNY，其中，NY_i和dNY_i分别表示N_i对应的异常数据量序列和差分序列；

确定差分序列dNY的第一个极小值点，并得到该极小值点的序列号i，该序列号i对应的N值即为最优的区间数目参数N_best。

2.根据权利要求1所述的异常数据检测参数的确定方法，其特征在于，将待处理的数据集等分成N个区间，则区间间隔minD表示为：

其中，minValue和maxValue分别表示待处理的数据集中的最小数据和最大数据。

3.根据权利要求2所述的异常数据检测参数的确定方法，其特征在于，第i个区间表示为：

Di＝[minValue+(i-1)*minD,minValue+i*minD)

其中，i＝1,……,N。

4.根据权利要求2所述的异常数据检测参数的确定方法，其特征在于，所述判断异常点候选区间内的任意数据是否满足预设的异常区间判断规则，若满足，则异常点候选区间为异常点区间包括：

对于任意数据p∈S(k)，若满足：

distance(p,q)＝value(p)-value(q)minD

q∈S(normal)

则异常点候选区间为异常点区间；

其中，S(k)表示异常点候选区间内所有数据的集合；S(normal)表示包含所有最初被标定为正常区间中的数据的集合；value(p)表示p的值；value(q)表示q的值；distance(p,q)表示p与q之间的距离。