[发明专利]一种配电网海量数据质量提升系统

权利要求书

1.一种配电网海量数据质量提升系统，其特征在于，该系统包括：物理系统、修复系统、数据质量评估系统、数据服务系统、业务应用系统、数据可视化系统、管控层系统。

2.根据权利要求1所述的配电网海量数据质量提升系统，其特征在于，修复系统包括：接入层模块、转换层模块、清洗层模块和离线层模块；所述修复系统用于进行数据监控抽取和数据修复；其中：数据监控抽取包括针对实时在线数据和对静态历史数据的抽取，按照预先定义好的规则和元数据，实现动态数据捕获；静态历史数据抽取可以根据硬件资源的可用情况进行全量抽取或增量抽取；还用于基于配电网公共信息模型构建全信息数据库；所述数据修复为全过程修复，用于针对物理系统中的所有模块中的异常数据的不同特点和不同阶段，实现数据量测平差，数据包修复，规则库校验和多业务系统数据集成，同时针对海量静态数据进行分布式并行清洗。

3.根据权利要求2所述的配电网海量数据质量提升系统，其特征在于，所述物理系统包括：采集层模块、传输层模块、网络层模块、业务层模块和存储层模块；所述物理系统用于提供配电网业务、配电网数据传输、计算和提供。

4.根据权利要求3所述的配电网海量数据质量提升系统，其特征在于，所述采集层模块包括各类配电网终端等配电网二次设备，用于对各类终端设备进行二次配电，并采集各类配电数据。

5.根据权利要求4所述的配电网海量数据质量提升系统，其特征在于，所述传输层模块包括通信设备，用于进行数据的实时传输；其中，所述通信设备包括无线通信公网和通信专线。

6.根据权利要求5所述的配电网海量数据质量提升系统，其特征在于，所述网络层模块包括网络层设备，用于提供网络数据传输；所述网络层设备用于连接各配电网业务服务器；其中：所述网络层设备包括物理隔离设备、信息总线、通道柜、防火墙和加密认证设备。

7.根据权利要求6所述的配电网海量数据质量提升系统，其特征在于，所述业务层模块用于进行业务提供，是提供业务的各配电网业务信息系统及其数据库的载体；所述存储层模块包括各类存储设备以及构建于存储设备上的数据库，用于提供数据存储。

8.根据权利要求7所述的配电网海量数据质量提升系统，其特征在于，所述接入层模块对应传输层模块和采集层模块，具体的：接入层模块采用前置机集群的方式对采集层模块出现的数据量测误差，对传输层模块出现的数据漏传错传、错码乱码等问题进行集群式在线清洗。

9.根据权利要求8所述的配电网海量数据质量提升系统，其特征在于，所述转换层模块对应于网络层模块，具体为：转换层模块基于应用层网关对网络层模块出现的数据包不匹配、错序、丢包等现象，通过心跳抽检机制和网络协议校验纠错机制进行数据包解析、校验纠错。

10.根据权利要求9所述的配电网海量数据质量提升系统，其特征在于，所述清洗层模块对应业务层模块，具体的：清洗层模块基于中间件服务器对业务层模块中的业务逻辑进行基于规则库的清洗和数据集成；

所述离线层模块对应于存储层模块，具体的：离线层模块基于ETL服务器对存储层中的数据进行全扫描，以完成逻辑排查和清晰；优选的：所述ETL服务器为分布式服务器，全扫描为分布式并行操作。