[发明专利]一种星形结构数据交换的方法

权利要求书

1.一种星形结构数据交换的方法，其特征在于，包括：

数据传输链路采用星形拓扑结构，源端和目的端的数据交换通过中央控制节点，中央控制节点实现数据中继和数据处理功能，负责接收源端数据源的信息，并转发给目的数据源；将数据交换的内容转化为统一为中间数据格式，实现异构数据源间的统一数据处理和交换；

数据交换逻辑包括Job和Task两个维度，Job表示一道数据同步作业；Task表示数据同步作业切分后的小任务；将一个Job分解成多个并发的Task；

Job下发到执行网关，执行网关是物理机器资源的抽象和封装，如果是非分布式Job，网关会寻找一台合适的机器运行同步进程，如果是分布式执行模式，会对任务做切分，在分布式机器上执行同步；

Job启动后，根据不同的源端切分策略，将Job切分成多个小的子任务，以便于并发执行；

切分多个子任务之后，根据配置的并发数据量，将拆分成的多个子任务重新组合成任务组，每一个任务组负责以并发运行分配的所有子任务。

2.如权利要求1所述的星形结构数据交换的方法，其特征在于，中央控制节点作为中间传输载体负责连接各种数据源，当需要接入一个新的数据源的时候，将此数据源对接到中央控制节点。

3.如权利要求1所述的星形结构数据交换的方法，其特征在于，中央控制节点采用Framework+plugin架构构建。

4.如权利要求1所述的星形结构数据交换的方法，其特征在于，Task是中央控制节点作业的最小单元，每一个Task都会负责一部分数据的同步工作。

5.如权利要求1所述的星形结构数据交换的方法，其特征在于，切分多个子任务之后，Job根据配置的并发数据量，将拆分成的Task 重新组合，组装成任务组。

6.如权利要求1所述的星形结构数据交换的方法，其特征在于，每一个子任务都由任务组负责启动，子任务启动后，会固定启动读取—通道—写入的线程来完成任务同步工作。

7.如权利要求1所述的星形结构数据交换的方法，其特征在于，中央控制节点作业运行起来之后，Job监控并等待多个任务组的任务完成，等待所有任务组的任务完成后Job成功退出，否则，异常退出。

8.如权利要求1所述的星形结构数据交换的方法，其特征在于，中央控制节点提供一套抽象化的数据抽取插件Reader以及数据写入插件Writer。

9.如权利要求1所述的星形结构数据交换的方法，其特征在于，在做数据传输之前，对Job的传输进行参数的配置，包括数据源端、目标端、数据过滤转换逻辑、流速阈值、脏数据阈值以及与其他Job的依赖关系。

10.如权利要求1所述的星形结构数据交换的方法，其特征在于，启动Job之前，对Job做安全和权限校验，如果作业任务配置不合法，会返回响应的错误信息。