[发明专利]一种基于响应的高并发轻量级数据集成架构的实现方法及其系统

权利要求书

1.一种基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，数据集成架构包括集成作业构建器、集成作业触发器、集成作业调度器、集成作业执行器、集成数据抽取器、集成数据转换器和集成数据加载器七种动作器，所述方法包括以下步骤：

集成作业构建器将业务系统所需集成的各类数据构建为集成作业；

集成作业触发器根据所述集成作业的触发方式启动所述集成作业；

集成作业调度器为所述集成作业指定集成作业执行器；

集成作业执行器为所述集成作业生成集成数据抽取器、集成数据转换器和集成数据加载器；

集成数据抽取器从原始外部数据源抽取集成作业的各类集成原始数据；

集成数据转换器将所述各类集成原始数据转换得到集成数据作为目标数据；

集成数据加载器将所述目标数据写入目标数据源。

2.根据权利要求1所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，集成作业构建器、集成作业触发器、集成作业调度器、集成作业执行器、集成数据抽取器、集成数据转换器和集成数据加载器均为集群结构，在每个动作器执行自身动作前，所述方法进一步包括：根据预设的负载均衡算法在每个动作器集群中选择指定的动作器执行动作。

3.根据权利要求1所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，所述集成作业构建器根据集成业务配置信息将业务系统所需集成的各类数据构建为集成作业后将所有集成作业注册至作业仓库。

4.根据权利要求3所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，所述注册仓库包括定时作业仓库和事件作业仓库；所述集成作业触发器根据定时作业仓库内的定时作业的定时信息定时启动定时作业、或者根据事件作业仓库内的事件作业的触发方式启动事件作业。

5.根据权利要求1所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，所述集成作业调度器为集成作业指定集成作业执行器，集成作业执行器为所述集成作业生成数据抽取器、数据转换器和数据加载器，包括：

所述集成作业调度器根据集成作业的标识选择或创建一个集成作业执行器，启动并进行集成作业执行器的初始化工作，然后发送集成作业配置消息至集成作业执行器；

集成作业执行器根据集成作业配置信息获取或创建集成数据抽取器、集成数据转换器、集成数据加载器。

6.根据权利要求5所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，进一步包括：

所述集成作业调度器遍历本地缓存的集成作业执行器，并且，在确定存在过期的集成作业执行器时，注销所述过期的集成作业执行器的缓存信息并向所述过期的集成作业执行器发送销毁信息；所述过期的集成作业执行器指在预设时间内没有处理过数据。

7.根据权利要求1所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，集成作业构建器、集成作业触发器、集成作业调度器、集成作业执行器、集成数据抽取器、集成数据转换器和集成数据加载器之间通过各自的私有邮箱进行消息交互。

8.根据权利要求7所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，

每个动作器中预先定义了对不同类型消息的响应动作；

每个动作器根据消息发送的顺序，依次处理私有邮箱中接收到的消息。

9.根据权利要求1所述的基于响应的高并发轻量级数据集成架构的实现方法，其特征在于，进一步包括：

所述集成作业构建器构建作业时根据数据转换的复杂度和数据量确定集成数据转换器的并发执行数量和负载均衡算法；

所述集成数据抽取器根据所述集成数据转换器的数量以及所述负载均衡算法选择消息发送的集成数据转换器。