[发明专利]基于云平台的分布式能源数据监控清洗方法

说明书

本发明公开了一种基于云平台的分布式能源数据监控清洗方法，包括：第一步骤：在远程运维报文数据解析结束后执行数据质量监控，其中判别报文数据全为0的情况以及报文数据中出现连续预定条数据卡死的情况；第二步骤：针对每天存储的发电功率和负荷功率数据，执行每日运行数据清洗。

技术领域

本发明涉及分布式能源数据处理领域，尤其涉及一种基于云平台的分布式能源数据监控清洗方法。

背景技术

现实生活中，数据总是不完整的，缺少某些值得关注的属性或者仅包含统计数据，也有可能含有错误或存在偏离期望的孤立点值。数据可能需要将多个数据源合并，由此带来偏差冲突或者矛盾等诸多问题。

越干净的数据集进行数据挖掘的效果越好，如果数据质量很差，那么数据分析的效果一定与真实的结果有很大的偏差。

随着电力大数据时代的来临，电力企业信息化与智能电力系统的建成使电力数据的体量以前所未有的速度增长；电力大数据应用中，对行业内外诸如能源、天气等数据的关联分析需求使得收集的电力数据类型出现明显的增多；电力大数据分析高实时性的需求使数据处理的速度必须更高。

近几年分布式能源迅速发展，产生的数据参差不齐，基于云平台对数据进行预处理，包括数据清洗、集成、转换与约简，是大数据时代的一个重要难题，通过数据质量监控可以很快的发现并排除数据问题，对数据进行处理可以使数据更加准确可靠，为进行分布式能源的数据统计和预测调度提供了数据支持。

离群点检测是基于密度的LOF算法开发的策略，该策略对于阈值、选取数据的长度都有要求，当前策略的阈值是固定值，可能对离群点选择会有影响，修正缺失值和离群点值采用常规的均值插值法，未根据数据的特征采用算法进行补值，会对结果的准确性产生影响。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是提供一种基于云平台的分布式能源数据监控清洗方法。

为实现上述目的，本发明提供了一种基于云平台的分布式能源数据监控清洗方法，包括：第一步骤：在远程运维报文数据解析结束后执行数据质量监控，其中判别报文数据全为0的情况以及报文数据中出现连续预定条数据卡死的情况；第二步骤：针对每天存储的发电功率和负荷功率数据，执行每日运行数据清洗。

优选地，在判别出现报文数据全为0的情况时，发送相应的第一警告信息；在判别出现报文数据中出现连续预定条数据卡死的情况时，发送相应的第二警告信息。

优选地，第一警告信息和第二警告信息以邮件的形式发送给用户。

优选地，每日运行数据清洗包括下述处理中的一种或多种：对数据进行完整度查询测试以判断数据的完整性，对数据进行一致性查询测试以判断数据是否出现卡死的情况，对数据采用LOF算法进行离群点错误点查询，对数据进行错误查询修正处理，对数据进行缺失数据补全处理。

优选地，在对数据进行完整度查询测试以判断数据的完整性时，查看数据中空数据占整个一天数据的比例，如果该比例超过预定阈值，则删除该天数据。

优选地，在对数据进行一致性查询测试时，如果出现连续预定条数据相同的情况，则判定数据出现卡死。

优选地，对数据采用LOF算法进行离群点错误点查询包括：将测试数据和预设数据库数据放入测试算法中进行计算以找出离群点，并且对离群点进行修正。

优选地，对数据进行错误查询修正处理包括：将超过最大发电功率的数据值修正为额定功率值。

本发明基于云平台处理数据快速的特点，对远程运维报文数据解析结束后，增加数据质量监控功能，判别数据全为0或数据卡死情况，在数据的源头发现问题，以诸如邮件的形式及时通知运维人员，针对每天存储的发电功率和负荷功率数据，对数据进行完整度查询、一致性查询、采用LOF算法离群点错误点查询、错误缺失数据补全等全流程的数据清洗，完成全方位的数据检测和清洗。