[发明专利]一种配电网多源数据质量管控系统

说明书

本发明公开了一种配电网多源数据质量管控系统，属于数据管理技术领域，包括电网数据采集模组、管控平台和数据管理及展示平台；所述电网数据采集模组用于采集电网数据；所述管控平台用于管理控制由所述电网数据采集模组采集到的电网数据，所述管控平台包括自动化巡检模块、数据传输质量监控模块和大数据存储模块，所述自动化巡检模块用于对电网数据质量和数据库进行状态进行巡检，所述数据传输质量监控模块用于监控采集到的数据与数据库之间的传输，所述大数据存储模块用于存储数据；所述数据管理及展示平台用于统计存储数据并通过图表的方式展示数据。通过管控平台对采集到的数据进行管理控制有效地发现并解决异常数据。

技术领域

本发明涉及数据管理技术领域，特别涉及一种配电网多源数据质量管控系统。

背景技术

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程，大数据具有海量、动态、不确定和多源异构等特点，这些特点使得数据的存储、传输与及时响应和处理面临巨大的挑战。信息融合作为有效整合和管理数据的重要工具之一,已经成为大数据资源治理的重要理论方法。信息融合是一种形式框架,其过程是用数学方法和技术工具综合不同源信息,目的是得到高品质的有用信息。与单一信源独立处理相比,信息融合的优势包括：提高可探测性和可信度,扩大时空感知范围；降低推理模糊程度，改进探测精度等性能；增加目标特征维数，提高空间分辨率；增强系统容错能力和自适应性，从而提高全系统性能。

电网在运行的时候会产生大量的数据，这些数据在节点中备份然后发送给后台存储模块进行保存，而在这一过程中需要对数据传输进行管控，传统的数据管控系统是在数据存入数据库之后进行管理，无法及时的发现数据在传输过程中的异常状态，而且数据库中管理数据即使发现问题，也不能及时的查询到问题产生的原因和位置，导致数据传输的管控不方便，而且传统的管控系统缺少数据的具象化展示，并且对于分散的数据也不方便进行统计和展示，用户也无法直观的查看到数据传输图表。

发明内容

本发明的目的就在于为了解决上述数据传输质量管控系统无法及时查询到数据传输过程中的异常数据以及后续不便于对传输数据进行统计和展示，使用户无法直观的通过数据传输图表掌握数据传输情况的问题提出一种配电网多源数据质量管控系统，具有通过巡检和质量监控及时管控数据传输过程中出现的异常情况，通过数据统计和展示方便用户直观的看出传输结果的优点。

本发明通过以下技术方案来实现上述目的，一种配电网多源数据质量管控系统，包括电网数据采集模组、管控平台和数据管理及展示平台；

所述电网数据采集模组用于采集电网数据；

所述管控平台用于管理控制由所述电网数据采集模组采集到的电网数据，所述管控平台包括自动化巡检模块、数据传输质量监控模块和大数据存储模块，所述自动化巡检模块用于对电网数据质量和数据库进行状态进行巡检，所述数据传输质量监控模块用于监控采集到的数据与数据库之间的传输，所述大数据存储模块用于存储数据；

所述数据管理及展示平台用于统计存储数据并通过图表的方式展示数据。

优选的，所述自动巡检模块的巡检功能包括kettle抽取任务状态、数据运行状态、数据推送状态、大数据平台空间存储状态和数据库表传输状态。

优选的，所述数据传输质量监控模块的监控功能包括数据表类型监控、数据表大小监控、数据表传输时间监控和异常报错信息推送。

优选的，所述大数据存储模块的存储功能包括数据接收、节点暂存、数据处理和后台存储。

优选的，所述数据管理及展示平台包括数据资源管理、数据资源信息采集、数据资产全景视图和工具自动化。

优选的，所述数据资源管理包括数据资源目录、数据资源信息统计和数据全链路分析。

优选的，所述数据资源信息采集包括数据模型采集适配和ETL工具采集适配。