[发明专利]一种蓄热式电锅炉负荷数据清洗系统

说明书

本发明公开了一种蓄热式电锅炉负荷数据清洗系统，包括：数据输入模块、重复数据去除模块、数据缺失值填充模块、数据异常值处理模块，数据输入模块连接重复数据去除模块，重复数据去除模块连接数据缺失值填充模块，数据缺失值填充模块连接数据异常值处理模块，本发明的有益效果是：1）蓄热式电锅炉原始数据有重复缺失异常值，本发明分别针对这些问题进行了完整的数据清洗；2）本发明的加权平均数据缺失填充法，充分考虑了真实值和缺失值距离对缺失值的影响，认为距离缺失值越近，真实值对缺失值影响越高，权重越高。方法快速简单，能够有效的进行蓄热式电锅炉负荷的缺失值填充。

技术领域

本发明涉及超导磁体技术领域，具体是一种蓄热式电锅炉负荷数据清洗系统。

背景技术

在电力物联网的建设已成为电网转型升级的关键目标。在泛在电力物联网的底层架构中，

通过负责数据感知和数据采集的信息感知层是架构基底，所获取的量测数据和存储数据的数据库是支撑整个泛在电力物联网系统的基础，如同高楼大厦是否稳固看地基，收集和存储的数据信息的质量好坏也关系整个泛在电力物联网系统的结构是否稳固。然而，同任何工业现场量测数据一样，在数据感知、传输、处理的过程中，由于采集设备故障、通信信道不稳定以及外界干扰等原因，往往会让用电信息采集系统采集到不同程度的“脏数据”，如重复、缺失和异常数据。

重复、缺失和异常数据的存在，会直接影响到后续电力系统对于历史负荷数据的分析与评估，进而影响到电网相关运行策略的制定。负荷功率值是用电信息采集系统中最重要的采集数据，若负荷功率数据重复缺失异常，则会造成基于电量数据的各种应用分析失去准确性甚至无法进行。此时，若能基于数据的内在结构特性(负荷特性)，恢复缺失的数据，修复异常数据，则可以保障数据完整性，提升数据使用价值。

大规模配电网负荷数据在线清洗与修复方法研究[J].:为减少数据缓存成本,提高负荷数据在配电网规划设计、智能分析等领域的可用性,充分有效地对大规模、混杂、不精确的监测或采集负荷数据进行在线清洗,保证每个周期的时序数据得到一致的偏差检测和精确修复,在分析不同类型异常负荷数据产生原因和分布特点的基础上,提出一种面向大规模配电网负荷数据的在线清洗与修复方法,包括基于密度的负荷数据流异常辨识方法和基于协同过滤推荐算法的负荷数据修复方法。为突破配电网负荷大数据在线分析性能瓶颈,还在Hadoop平台上给出相应的分布式并行解决方案,通过使用实际配电网运行中的负荷数据进行验证,结果表明所提算法和框架能够有效预处理配电网负荷数据,具有实际应用价值

以因果关系推理的方式推导出现有技术的缺点如下：

1)没有对重复数据进行处理，会导致使用负荷数据时出错；

2)没有缺失值进行处理，会导致大范围负荷功率值缺失时，系统无法修复数据。

发明内容

本发明的目的在于提供一种蓄热式电锅炉负荷数据清洗系统，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：

一种蓄热式电锅炉负荷数据清洗系统，包括：

数据输入模块，用于获得用户用电曲线数据，转化为序列向量做输入数据；

重复数据去除模块，用于对数据按时间和用户ID为唯一标识，识别出数据集中的重复数据，并去除重复数据；

数据缺失值填充模块，用于使用加权平均数据缺失填充方法对缺失值数据进行填充；

数据异常值处理模块，用于依据蓄热式电锅炉负荷数据规律，识别原始数据中离群点，并将其标记为缺失点，使用缺失值填充方法进行修复；

数据输入模块连接重复数据去除模块，重复数据去除模块连接数据缺失值填充模块，数据缺失值填充模块连接数据异常值处理模块。