[发明专利]一种配电网云平台数据融合方法及配电网云平台

说明书

一种配电网云平台数据融合方法及配电网云平台，方法包括以下步骤：步骤1，将配电网数据接入配电网云平台，按照统一数据规范进行标准化格式存储，存储在分布式关系型数据库、分布式非关系型数据库和分布式文件系统中；步骤2，筛选出已接收的配电网数据中不符合要求的数据，进行数据清洗；步骤3，对步骤2已数据清洗的配电网数据进行不一致数据转换和数据粒度转换；步骤4，将步骤3中已数据转换的配电网数据构建为映射表，进行数据融合；步骤5，利用融合后的数据构建数据模型，形成数据中台，供后续系统及服务调用。本发明能够提高融合效率和正确性，使得融合结果能够支撑上层相关数据分析应用的准确性，最终提升配网运行大数据的应用效率。

技术领域

本发明属于配电网自动化技术领域，更具体地，涉及一种配电网云平台数据融合方法及配电网云平台。

背景技术

随着全国大电网的互连，信息的复杂性和层次性问题越发突出，对不同来源信息的处理显得非常重要。

一方面，配电网系统电气设备种类繁多、结构各异，其在线状态监测项目各有不同。由于不同电气设备在线监测的项目不同，会采用不同形式的传感器，因此采用两个或两个以上传感器进行在线测量的方式将得到更广泛的应用，而对多个传感器采集数据的处理将涉及到信息融合的问题。随着智能配电站、配电自动化的推广，面对日益增大的采集数据，信息融合及校核技术是提高准确率、提升效率的关键。

另一方面，配电系统涉及到的异构信息来源众多，包括配电管理系统(DMS)、PMS、营销系统(CM)、计量与负荷管理系统(MS)、工作管理系统(WMS)、CIS以及配电SCADA系统等，由于没有统一、严格的配电网模型描述标准，系统间的设备信息及字段格式都不同，可能存在同一个设备在不同的系统中命名、编号等信息都不同或者信息类型及数量不一致的情况。

由于各系统间的信息不一致，且信息存储的方式存在区别，不便进行统一处理，因此在进行配电网数据融合时，无法实现各设备、各系统间配电网数据的有效融合，融合效率不高，融合后的结果也不尽如人意，难以保证完整性、一致性和正确性，无法为后续系统或服务提供有力的数据支撑。

发明内容

为解决现有技术中存在的不足，本发明的目的在于，提供一种配电网云平台数据融合方法，其用于对配电自动化系统中的配电网模型数据进行数据融合，本方法通过对各系统间的数据进行清洗、转换，融合后构建统一的数据模型，提高融合效率和正确性，使得融合结果能够支撑上层相关数据分析应用的准确性，最终提升配网运行大数据的应用效率。

本发明采用如下的技术方案。一种配电网云平台数据融合方法，包括以下步骤：

步骤1，将配电网数据接入配电网云平台，按照统一数据规范进行标准化格式存储，存储在分布式关系型数据库、分布式非关系型数据库和分布式文件系统中；

步骤2，筛选出步骤1已接收的配电网数据中不符合要求的数据，进行数据清洗；

步骤3，对步骤2已数据清洗的配电网数据进行不一致数据转换和数据粒度转换；

步骤4，将步骤3中已数据转换的配电网数据构建为映射表，进行数据融合；

步骤5，利用融合后的数据构建数据模型，形成数据中台，供后续系统及服务调用。

优选地，步骤1中，对于配电网数据中的实时数据，使用基于Kafka分布式消息队列的数据通道接入配电网云平台，在数据抽取过程中，通过定义消息描述信息的方式设置数据抽取的主题，生产者向主题写入数据，消费者从主题读取数据，通过Hadoop的并行加载机制统一线上和离线的消息处理让数据存入Hadoop集群。

优选地，步骤1中，对于配电网数据中的结构化数据，通过Sqoop工具，分割成多个数据集并创建Hadoop任务来并行处理每个区域，写入配电网云平台的分布式关系型数据库。