[发明专利]一种基于响应的高并发轻量级数据集成架构的实现方法及其系统

说明书

本发明公开了一种基于响应的高并发轻量级数据集成架构的实现方法及其系统，数据集成架构包括集成作业构建器、集成作业触发器、集成作业调度器、集成作业执行器、集成数据抽取器、集成数据转换器和集成数据加载器，方法包括以下步骤：将各类数据构建为集成作业；根据集成作业的触发方式启动集成作业；为集成作业指定集成作业执行器；为集成作业生成集成数据抽取器、集成数据转换器和集成数据加载器；从原始外部数据源抽取各类集成原始数据；将各类集成原始数据转换得到集成数据作为目标数据；将目标数据写入目标数据源。本发明的用户直接在业务应用系统中引入数据集成框架，再基于数据集成框架构建集成作业实现了数据集成特写环节的并发扩展。

技术领域

本发明涉及一种基于响应的高并发轻量级数据集成架构的实现方法及其系统，属于应用系统数据集成技术领域。

背景技术

随着各行各业信息化建设的飞跃式发展，信息系统逐渐覆盖企业日常生产与运营的全部过程中。为了进一步实现跨系统的信息互动和数据流转，信息共享已经成为所有信息系统建设过程中必须面对和考虑的问题。

目前针对信息系统数据集成的解决方案均通过搭建商品化的数据集成服务集群，通过配置工具进行数据集成配置。采用这种模式主要存在以下问题：1)服务庞大，对硬件要求高。常见的数据集成工具都需要提供较多的硬件服务器资源来支撑其运行；2)横向扩展难度大，针对单个类型的数据集成作业，无法有针对性在对集成的某个环节提高处理的并发程度。

发明内容

针对现有技术存在的不足，本发明目的是提供一种基于响应的高并发轻量级数据集成架构的实现方法及其系统，用户可以直接在业务应用系统中引入数据集成框架，再基于数据集成框架构建集成作业，实现数据集成服务的轻量化；基于响应式的组件设计，实现了数据集成特写环节的并发扩展，解决了数据集成服务扩展和并行化处理的问题。

为了实现上述目的，本发明是通过如下的技术方案来实现：

本发明的一种基于响应的高并发轻量级数据集成架构的实现方法，数据集成架构包括集成作业构建器、集成作业触发器、集成作业调度器、集成作业执行器、集成数据抽取器、集成数据转换器和集成数据加载器七种动作器，所述方法包括以下步骤：

集成作业构建器将业务系统所需集成的各类数据构建为集成作业；

集成作业触发器根据所述集成作业的触发方式启动所述集成作业；

集成作业调度器为所述集成作业指定集成作业执行器；

集成作业执行器为所述集成作业生成集成数据抽取器、集成数据转换器和集成数据加载器；

集成数据抽取器从原始外部数据源抽取集成作业的各类集成原始数据；

集成数据转换器将所述各类集成原始数据转换得到集成数据作为目标数据；

集成数据加载器将所述目标数据写入目标数据源。

集成作业构建器、集成作业触发器、集成作业调度器、集成作业执行器、集成数据抽取器、集成数据转换器和集成数据加载器均为集群结构，在每个动作器执行自身动作前，所述方法进一步包括：根据预设的负载均衡算法在每个动作器集群中选择指定的动作器执行动作。

上述集成作业构建器根据集成业务配置信息将业务系统所需集成的各类数据构建为集成作业后将所有集成作业注册至作业仓库。

上述注册仓库包括定时作业仓库和事件作业仓库；所述集成作业触发器根据定时作业仓库内的定时作业的定时信息定时启动定时作业、或者根据事件作业仓库内的事件作业的触发方式启动事件作业。

上述集成作业调度器为集成作业指定集成作业执行器，集成作业执行器为所述集成作业生成数据抽取器、数据转换器和数据加载器，包括：