[发明专利]一种用电时序数据的清洗方法

说明书

本发明涉及一种用电时序数据的清洗方法，包括以下步骤：S1：获取用电时序数据，按设定规律将用电时序数据分割为多个切片；S2：将各切片按照是否含有缺失值分为第一切片和第二切片，所述的第一切片为含有缺失值的切片，所述的第二切片为不含缺失值的切片；S3：对第二切片组成的集合构建索引；S4：利用索引，在第二切片组成的集合中查询与各第一切片对应的第二切片；S5：利用查询得到的第二切片，基于清洗模型，分别对各对应的第一切片进行数据清洗，填补其中的缺失值，与现有技术相比，本发明具有实用且通用性高等优点。

技术领域

本发明涉及电力信息大数据领域，尤其是涉及一种用电时序数据的清洗方法。

背景技术

电力电子装置的大规模接入使得电力企业能够在用户侧和电网侧采集海量数据。特别地，随着计量基础设施的迭代更新，电力数据的频度、精度和准度均提升显著。另一方面，运行、量测、通信等一、二、三次电力设备的故障事件普遍存在并影响数据质量。在此背景下，研发高效数据清洗工具，是电力企业开展智能分析工作的重要环节。

时间序列是在时间维度上对观测对象等间隔采样所形成的结构化数据。在电力系统中，基于负荷、电量等用电时序数据的智能分析工具已在各类业务场景中取得应用成效，这离不开高效数据清洗工具的辅助。发明专利申请CN201911226611.7提出了一种基于时间序列相似性的数据清洗方法及装置，该技术方案对用电时序数据依次执行降维、离散化和相似性度量等操作来计算待清洗时序数据的参考时序数据，并将待清洗时序数据中的缺失值/异常值替换为参考时序数据中相同位置的值；发明专利申请C201710790445.8提出了一种用于电力传感数据的清洗方法、装置和系统，该技术方案采用K-Means聚类方法将电力传感器采集的数据分为多个分区，检出每个分区中的异常值，采用平均值、中值或模式值对异常值进行替换。

包括上述在内的现有技术方案多采用相似性度量方法计算与待清洗时序数据相似的参考时序数据，并将参考时序数据中的值作为待清洗时序数据中同位置缺失值/异常值的修正值。目前，常用的相似性度量方法主要包括平滑法和模型法，前者一般计算历史数据的均值并将其作为邻近的缺失值/异常值的修正值，后者一般提取历史数据的波动特征来建立线性/非线性方程并将缺失值/异常值的上下文带入方程来计算修正值。前述方法的主要不足是：平滑法的使用条件是时间序列稳定，而负荷、电量等时序数据深受气象、节假日等周期性因素影响；模型法充分考虑周期性因素对时序数据的影响，但是模型能力依赖于训练样本的质量和数量；这使得基于平滑法和模型法的时序数据清洗效果未必满足基于用电量时序数据的智能分析的需求。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种实用性好且通用性强的用电时序数据的清洗方法。

本发明的目的可以通过以下技术方案来实现：

一种用电时序数据的清洗方法，包括以下步骤：

S1：获取用电时序数据，按设定规律将用电时序数据分割为多个切片；

S2：将各切片按照是否含有缺失值分为第一切片和第二切片，所述的第一切片为含有缺失值的切片，所述的第二切片为不含缺失值的切片；

S3：对第二切片组成的集合构建索引；

S4：利用索引，在第二切片组成的集合中查询与各第一切片对应的第二切片；

S5：利用查询得到的第二切片，基于清洗模型，分别对各对应的第一切片进行数据清洗，填补其中的缺失值。

进一步地，所述的步骤S1具体包括：

S11：获取用电时序数据集合，识别其中每条用电时序数据的异常值，并将异常值替换为缺失值；

S12：按设定规律将用电时序数据集合中的各用电时序数据分割为多个切片。

进一步地，所述的步骤S3具体包括：