[发明专利]一种配电网海量数据质量提升系统

说明书

本发明涉及一种配电网海量数据质量提升系统，所述系统包括：物理系统、修复系统、数据质量评估系统、数据服务系统、业务应用系统、数据可视化系统、管控层系统。本发明支持离线分析和在线分析不同场景下的海量数据修复、多维度、多层次的数据质量评估体系，可有效提升配电网数据的质量与可信度，解决配电数据领域的共性关键技术难题，实现对不同生命周期的数据进行动态治理及数据修复；为多种业务系统提供符合业务应用需求的数据接口，可实现配电网负荷预测技术、无功优化、节能降损等典型应用模块的集成与扩展。

【技术领域】

本发明属于配电网领域，尤其涉及一种配电网海量数据质量提升系统。

【背景技术】

配电网处于电力系统的末端，具有地域分布广、电网规模大、设备种类多、网络连接多样的鲜明特点，随着配电网信息化水平日益提升，配电网中各类信息系统为配电网运行状态与业务应用提供了丰富的数据，其中既包含配电自动化、调度自动化、生产管理系统等系统内部数据，同时也包括自然环境和社会经济等外部数据，并且涉及配电网规划、运行与检修等多个环节。配电网数据具有以下特征：(1)数据采集多，每个采集点采集相对固定类别的数据，且分布在各个电压等级内；(2)不同采集点的采样时间尺度不同，数据断面不同；(3)数据不健全，数据采集存在误差和漏传；(4)数据分散分布在不同的应用系统中。配电网数据采集量大、时空尺度不同、数据不健全、数据结构多样化、存在误差和漏传，因此配电网数据质量问题是一个共性且突出的典型问题。虽然当前在配电网数据密集型基础分析、智能化辅助决策和高性能并行优化计算等方面研究取得了重大突破，然而配电网数据传输“中间薄弱”问题一直未能得到解决。如何进行对数据选择适配的算法和策略，进一步改善数据质量实现数据精确修复提升配电网领域业务应用水准属于当前研究重点。因此，亟需一种新的配电网海量数据质量提升系统，本发明支持离线分析和在线分析不同场景下的海量数据修复、多维度、多层次的数据质量评估体系，可有效提升配电网数据的质量与可信度，解决配电数据领域的共性关键技术难题，实现对不同生命周期的数据进行动态治理及数据修复；为多种业务系统提供符合业务应用需求的数据接口，可实现配电网负荷预测技术、无功优化、节能降损等典型应用模块的集成与扩展。

【发明内容】

为了解决现有技术中的上述问题，本发明提出了一种配电网海量数据质量提升系统，该系统包括：物理系统、修复系统、数据质量评估系统、数据服务系统、业务应用系统、数据可视化系统、管控层系统。

进一步的，修复系统包括：接入层模块、转换层模块、清洗层模块和离线层模块；所述修复系统用于进行数据监控抽取和数据修复；其中：数据监控抽取包括针对实时在线数据和对静态历史数据的抽取，按照预先定义好的规则和元数据，实现动态数据捕获；静态历史数据抽取可以根据硬件资源的可用情况进行全量抽取或增量抽取；还用于基于配电网公共信息模型构建全信息数据库；所述数据修复为全过程修复，用于针对物理系统中的所有模块中的异常数据的不同特点和不同阶段，实现数据量测平差，数据包修复，规则库校验和多业务系统数据集成，同时针对海量静态数据进行分布式并行清洗。

进一步的，所述物理系统包括：采集层模块、传输层模块、网络层模块、业务层模块和存储层模块；所述物理系统用于提供配电网业务、配电网数据传输、计算和提供。

进一步的，所述采集层模块包括各类配电网终端等配电网二次设备，用于对各类终端设备进行二次配电，并采集各类配电数据。

进一步的，所述传输层模块包括通信设备，用于进行数据的实时传输；其中，所述通信设备包括无线通信公网和通信专线。

进一步的，所述网络层模块包括网络层设备，用于提供网络数据传输；所述网络层设备用于连接各配电网业务服务器；其中：所述网络层设备包括物理隔离设备、信息总线、通道柜、防火墙和加密认证设备。

进一步的，所述业务层模块用于进行业务提供，是提供业务的各配电网业务信息系统及其数据库的载体；所述存储层模块包括各类存储设备以及构建于存储设备上的数据库，用于提供数据存储。