[发明专利]一种异常数据检测参数的确定方法及确定装置

说明书

本发明提供一种异常数据检测参数的确定方法及确定装置，能够提升异常数据检测的性能。所述方法包括：获取待处理的数据集；设置多组异常数据检测参数，确定每组异常数据检测参数下所述待处理的数据集中异常点数量，得到异常点数量序列，其中，每组异常数据检测参数包括：区间数目和区间内数据数量阈值；对异常点数量序列进行差分，确定差分序列的第一个极小值，得到最优的区间数目和区间内数据数量阈值；根据得到的最优的区间数目和区间内数据数量阈值对待处理的数据集进行异常数据处理。本发明涉及数据处理领域。

技术领域

本发明涉及数据处理领域，特别是指一种异常数据检测参数的确定方法及确定装置。

背景技术

随着物联网和互联网技术的发展，在供热、空调、给水、排水等市政以及智能楼宇领域，市政系统中诸如压力、温度、流量、智能楼宇领域的诸如能源消耗、室内温度、湿度等参数的测量和采集都采用自动化仪表，测量数据自动采集，并实现数据远程传输。这种方式一方面使得数据能够实时采集，是系统实现自控的必要环节，另一方面实现了高频率的电子化数据，方便管理人员运行管理和故障的诊断、处理等功能，提高服务品质的同时大大降低了能源消耗。然而随着数据采集种类的越来越多，采集的频次越来越高，数据数量越来越大，异常数据的产生难以避免，从而影响服务质量、浪费能源甚至引起安全事故，因此在使用数据前必须进行异常数据的检测和剔除。

目前已经有一种基于距离的简单而又高效的异常数据检测方法，但是在实现该异常数据检测方法的过程中检测参数的选择存在一定困难，导致异常检测结果准确率低。

发明内容

本发明要解决的技术问题是提供一种异常数据检测参数的确定方法及确定装置，以解决现有技术所存在的难以准确确定检测参数的值，导致异常检测结果准确率低的问题。

为解决上述技术问题，本发明实施例提供一种异常数据检测参数的确定方法，包括：

获取待处理的数据集；

设置多组异常数据检测参数，确定每组异常数据检测参数下所述待处理的数据集中异常点数量，得到异常点数量序列，其中，每组异常数据检测参数包括：区间数目和区间内数据数量阈值；

对异常点数量序列进行差分，确定差分序列的第一个极小值，得到最优的区间数目和区间内数据数量阈值；

根据得到的最优的区间数目和区间内数据数量阈值对待处理的数据集进行异常数据处理；

其中，在优化区间数目参数时，不同组中的区间内数据数量阈值相同，区间数目不同；在优化区间内数据数量阈值参数时，不同组中的区间数目都为得到的最优区间数目，区间内数据数量阈值不同。

进一步地，所述确定每组异常数据检测参数下所述待处理的数据集中异常点数量包括：

S21，按照预先设置的区间数目N，将待处理的数据集等分成N个区间；

S22，统计落在每个区间范围上数据的数量；

S23，判断第一区间内的数据数量是否大于预先设置的区间内数据数量阈值k，若是，则第一区间为正常区间，否则，第一区间为异常点候选区间，其中，第一区间为任意区间；

S24，判断异常点候选区间内的任意数据是否满足预设的异常区间判断规则，若满足，则异常点候选区间为异常点区间；

S25，确定异常点区间中异常点数量。

进一步地，将待处理的数据集等分成N个区间，则区间间隔minD表示为：

其中，minValue和maxValue分别表示待处理的数据集中的最小数据和最大数据。

进一步地，第i个区间表示为：