[发明专利]面向电网大数据应用的数据集成管理系统及其实现方法

权利要求书

1.面向电网大数据应用的数据集成管理系统，其特征在于，包括：流程设计工具包；

所述流程设计工具包，包括前台页面模块和后台插件框架，所述前台页面模块用于提供拖拽绘制流程图元素实现对数据流操作插件对象属性值和数据流操作的执行顺序的设置；所述后台插件框架，用于提供不同功能数据流操作的各插件对象，所述插件对象是基于数据流操作功能封装而成；

所述流程设计工具包，将前台页面模块输入的设置参数映射转换成插件对象，并利用类加载器加载后台插件框架中不同功能数据流操作的各插件对象，实现设置数据集成交互流程功能，并通过前台页面模块于展示数据流操作的执行结果。

2.根据权利要求1所述的面向电网大数据应用的数据集成管理系统，其特征在于， 所述插件对象分为数据提取输入类、数据转换校验类和数据加载输出类。

3.根据权利要求1所述的面向电网大数据应用的数据集成管理系统，其特征在于，所述系统还包括数据集成元数据管理模块，所述数据集成元数据管理模块，用以支持设计的数据集成交互流程的元数据信息资源管理，提供资源库维护数据集成交互流程的归档信息。

4.根据权利要求3所述的面向电网大数据应用的数据集成管理系统，其特征在于，所述系统还包括：监控管理模块，所述监控管理模块，用于实现用户角色权限管理，并基于用户组分配角色权限实现对于数据集成交互流程任务组的编辑或执行数据集成交互流程的管理；并配置数据集成流程的调度计划和执行周期。

5.根据权利要求4所述的面向电网大数据应用的数据集成管理系统，其特征在于，所述监控管理模块具备日志管理功能，所述日志管理功能以log4j对日志信息分级记录，划分为运行错误级别、基本信息级别、详细信息级别、调试信息级别，根据需要按用户、时间、日志等级快速定位日志记录，提供数据集成流程设计调试和运行状态信息不同角度信息跟踪。

6.根据权利要求1所述的面向电网大数据应用的数据集成管理系统，其特征在于，所述插件对象包括rest服务数据获取插件、E格式解析提取插件、XML格式解析提取插件、JSON格式解析提取插件、数据库连接插件、表输入插件、字段选择插件、记录排序插件、记录分流插件、行列拆分插件、公式定义计算插件、类型转换插件、记录关插件联、插入更新插件、表输出插件、E格式生成插件、SOAP服务调用插件和Kafka/ActiveMQ消息发布插件等。

7.根据权利要求1所述的面向电网大数据应用的数据集成管理系统，其特征在于，所述数据集成管理系统采用主从节点配置集群运行数据集成任务，由一个主服务器和多个从服务器组成，Master主节点分发流程任务，Slave分节点执行任务。

8.面向电网大数据应用的数据集成管理系统的实现方法，其特征在于，包括以下步骤：

定义后台插件框架：包括定义插件类型接口，封装实现插件类型接口中方法的基本插件类型类，从基本插件类型类派生出具体实现各数据流操作功能插件类型；定义插件类型元数据描述类，用于辅助设置插件类型中选项属性参数；定义插件注册类，其中维护插件元数据描述和插件类型信息，通过注解标识注册到Spring容器中实现插件类型对象创建；

定义前台页面模块，包括定义映射后台插件框架中插件类型属性参数的数据模型，用于双向数据绑定，修改数据模型实例的属性将相应修改视图，页面用户操作修改视图属性值反向自动同步给数据模型；

通过前后台IO交互编码解码实现页面图形与数据模型的相互转换；定义后台控制层响应前台页面模块接收的用户操作将数据模型映射转换成插件对象。