[发明专利]一种用电数据异常值的识别与处理方法

说明书

一种用电数据异常值的识别与处理方法，用于提高电能计量的准确性，所述方法包括以下步骤：a.设置滑动窗口；b.计算当前滑动窗口中数据的离群距离；c.计算当前滑动窗口中各个数据的离群系数；d.异常值的判定和更正；e.将滑动窗口向后移动一个数据，重复步骤b～步骤d，直至遍历整个数据集，完成异常值的处理。本发明根据滑动窗口中用电数据的离群系数判定其是否异常，并对异常数据进行更正，该方法可使数据更为准确地反映用户的真实用电情况，减少某些异常值、缺失数据对电能计量造成的不良影响，确保后续工作顺利进行并提高电能计量的准确性。

技术领域

本发明涉及一种适用于智能电表采集的基于时间序列的离散数据的异常值识别与处理方法，属于数据处理技术领域。

背景技术

随着社会的发展和科技的创新，各行各业信息化程度越来越高，数据不再仅仅是结果的体现，而是各种系统运行状态的反映。二十一世纪的今天，数据的价值已经引起了社会各界的充分重视，因为数据是一种历史状态的记录，通过对历史数据的分析，可以找寻造成当前结果的原因，也可以预测未来将要发生的事情，甚至可以造就一个美好的未来。当前各种复杂的信息系统构成了我们依赖的数字世界，从数据流向的角度来看，可将信息系统分为数据产生、数据采集、数据处理和数据分析四个主要步骤。传感技术的发展和信息系统的增多为数据的产生提供了更多的数据源，同时也推动促进了数据采集技术的进步，数据体量的剧增让我们无法在单个服务器上实时处理海量数据，因此“大数据”和“云计算”等技术一出现便得到了快速发展和广泛应用，另外，基于大数据和云计算的人工智能也在如火如荼地发展，革新甚至取代了众多机械性的行业。

面对种类多、体量大的结构化、半结构化和非结构化数据，数据质量往往并不理想，存在不同程度的缺失和异常数据。实际项目经验也告诉我们，数据预处理是项目开发过程中不可或缺的一个环节和工作，而且处理质量直接关系到数据分析结果，与项目的成败有直接关系。工业现场采集的原始数据通常存在噪声和异常值，这些原始数据的问题主要集中在以下几个方面：一是对于同一设备，不同测量装置的测量结果是不同的；二是传感器在压缩或传输数据时存在不确定性影响，造成数据丢失等，这为后续分析处理带来了很大的困难。因此，对采集到的原始数据进行预处理是一项非常必要的工作，需要着重进行缺失值补全、异常值处理和指标筛选等。数据预处理主要包括数据清洗、数据集成、数据变换和数据规约等步骤。数据清洗主要是对缺失值和异常值进行处理，根据缺失值的重要程度，可将其删除或插补，数据的插补根据实际情况可选用固定值法、最近值法、均值法、中位数法、众数法，以及回归法、拉格朗日插值法和牛顿插值法；对异常值的处理有识别和处理两个步骤，都需结合数据特点进行分析处理，且以数据最小失真为目标。数据集成是将多个数据源的数据整合到一起，形成一个统一且相对完整的数据集合，其主要技术难点是处理冗余和冲突数据。数据变换需要将数据转换成适合方法分析和挖掘的形式，筛选出特征指标，涉及到数据的规范化、聚集和属性构造等方面的技术。随着信息化程度的加深，数据不仅是结果的呈现，更是社会发展过程的记录，面对大数据分析和挖掘存在效率不高问题，数据规约技术可得到数据集的规约表示，在缩减数据量的同时，保持原数据的完整性。

智能电表对电能使用情况的记录是基于时间序列的离散采样数据，在实际应用过程中，由于电表质量、通信故障等多种客观因素的影响，导致记录数据出现缺失和异常，因此必须进行识别和处理。