[发明专利]面向电网大数据应用的数据集成管理系统及其实现方法

说明书

本发明公开了面向电网大数据应用的数据集成管理系统及其实现方法，系统中流程设计工具包：包括前台页面模块和后台插件框架，前台页面模块用于提供拖拽绘制流程图元素实现对数据流操作插件对象属性值和数据流操作的执行顺序的设置；后台插件框架，用于提供不同功能数据流操作的各插件对象，插件对象是基于数据流操作功能封装而成；将前台页面模块输入的设置参数映射转换成插件对象，并利用类加载器加载后台插件框架中不同功能数据流操作的各插件对象，实现设置数据集成交互流程功能，并通过前台页面模块于展示数据流操作的执行结果。本发明能适应面向电网应用数据集成定制逻辑开发，具备业务实现敏捷性、扩展性和灵活性优点。

技术领域

本发明属于电网大数据管理技术领域，具体涉及面向电网大数据应用的数据集成管理系统及其实现方法。

背景技术

随着电力能源产业现代化发展，国家推动电网向能源互联网转型升级，以数字技术综合利用电力系统各环节能源数据，提升电网感知能力、开放水平和运行效率，在融合发展泛在电力物联网和智能电网的技术创新背景下，数据集成的必要性、紧迫性不言而喻，不断被推至信息化战略规划首要位置。

同一个供电公司并存着多个不同厂家的生产应用系统以及不同层级网省地间推广的新系统和新平台具有不同业务类型、数量和速度的数据，电网两融应用协同作业的数据分析和商业智能决策所需要的数据集成清单选项列表门类复杂繁多，且电力系统数据交换规范等存量方案约束导致行业外的数据集成工具不能无缝对接增加额外改造工作，而定制数据需求需要采用多种数据集成工具来实现数据集成和处理，往往造成数据集成开发重复和功能散乱，无法保证数据质量可靠。

数据集成交互可能来自数据湖、实时存储库或者文件系统，而对分散的业务系统信息数据再集中面临着数据处理凌乱歧义或者数据接口繁杂多变等场景问题，这需要对数据集成管理基础设施重新思考，需要现代化的数据集成管理解决方案保证数据快速稳定可靠集成满足未来电网大数据分析和决策运行的要求。

目前一些数据交换平台通过置定不同数据来源统一接口规范结合适配器来实现数据集成，但存量接口改造工作量大，统一接口规范对应用逻辑场景覆盖有限，且行业内外厂家众多无法强制推行，适配器本质上还是定制接口程序容易造成散乱管理困难，因而此类数据交换平台不具备可行性或者实用化不高问题；而已有的数据集成工具在配置实际电网行业运行数据、处理面向电网大数据应用存在逻辑贴合不紧密适应性差造成步骤繁琐缺点，此类工具对数据集成业务造成的不稳定性和性能低下问题。

发明内容

本发明旨在解决以上数据交换平台实现数据集成存在的不足而对数据集成业务造成的不稳定性和性能低下的问题，提出面向电网大数据应用的数据集成管理系统及其实现方法。

为实现上述技术目的，本发明采用了以下技术方案：

一方面，本发明提供了面向电网大数据应用的数据集成管理系统，其特征在于，包括：流程设计工具包；

所述流程设计工具包，包括前台页面模块和后台插件框架，所述前台页面模块用于提供拖拽绘制流程图元素实现对数据流操作插件对象属性值和数据流操作的执行顺序的设置；所述后台插件框架，用于提供不同功能数据流操作的各插件对象，所述插件对象是基于数据流操作功能封装而成；

所述流程设计工具包，将前台页面模块输入的设置参数映射转换成插件对象，并利用类加载器加载后台插件框架中不同功能数据流操作的各插件对象，实现设置数据集成交互流程功能，并通过前台页面模块于展示数据流操作的执行结果。

进一步地， 所述插件对象分为数据提取输入类、数据转换校验类和数据加载输出类。

进一步地，所述系统还包括：所述数据集成元数据管理模块，用以支持设计的数据集成交互流程的元数据信息资源管理，提供资源库维护数据集成交互流程的归档信息。