[发明专利]对分片数据库数据采集的系统和方法

权利要求书

1.对分片数据库数据采集的系统，其特征包括：

主程序模块：通过系统的处理器接收批量日期与采集表的表名，启动xcat线程；

配置模块：通过所述处理器接收主程序模块的输出，对每个分片数据库的连接信息进行配置，生成配置表并保存在系统的内存中；

优先级配置模块：通过所述处理器接收主程序模块的输出，并在系统的内存中存储有优先级配置表，在所述的优先级配置表中包含有根据下游系统对不同采集表的依赖强弱程度的不同，而对采集表的优先级配置信息；

控制信息模块：采集表分别与配置表和优先级配置表关联后，通过形成的控制信息表记录采集表的控制信息，其中，采集表与配置表通过对应的分片数据库的信息关联，采集表与优先级配置表通过采集表名称关联，形成采集表与分片数据库之间一对多的控制信息；

采集子程序模块：通过所述处理器接收控制信息表生成的数据和主程序模块的参数输出，通过Sqoop程序对同一个采集表从不同的分片数据库中进行分布式并发数据采集。

2.如权利要求1所述的对分片数据库数据采集的系统，其特征为：还具有通过所述处理器接收控制信息表生成数据的信息日志模块，通过信息日志表记录每一次采集数据的数据量和采集状态。

3.用于权利要求1或2所述系统的对分片数据库数据采集的方法，其特征包括：

A.通过系统的处理器，由主程序模块接收批量日期与采集表的表名，然后启动xcat线程；

B.通过xcat线程，从内存中读取采集表、配置表和优先级配置表，并将采集表分别与配置表和优先级配置表关联后形成控制信息表，通过控制信息表记录采集表的控制信息，并且系统根据优先级配置表中保存的下游系统对不同采集表对应的依赖程度，实时调整在采集同一张采集表的数据时，不同的分片数据库之间的采集间隔时间；

C.系统根据控制信息表中的采集表的控制信息，判断当前采集表的所有分片数据是否已通过采集子程序采集完成，如果完成则返回主程序后结束，否则采集子程序通过Sqoop程序根据控制信息表的数据和主程序模块的输出参数，继续到对应的分片数据库中采集数据；

D.系统判断采集数据过程是否有错误，如果没有错误则采集数据后返回步骤B循环执行，否则返回主程序后结束。

4.如权利要求3所述的对分片数据库数据采集的方法，其特征为：在每次采集数据时，系统通过信息日志表记录每一次采集数据的记录条数和采集状态。

5.如权利要求3或4所述的对分片数据库数据采集的方法，其特征为：步骤B中，采集表与配置表通过对应的分片数据库的信息关联，采集表与优先级配置表通过采集表名称关联，形成采集表与分片数据库之间一对多的控制信息。

6.如权利要求3或4所述的对分片数据库数据采集的方法，其特征为：步骤D中如果在采集数据的过程出现错误，系统进行重试采集，当重试次数达到预设的阈值后仍然出现错误，则报错并返回主程序后结束。

7.如权利要求3或4所述的对分片数据库数据采集的方法，其特征为：在控制信息表中，对同一张采集表只保存一组与步骤A所述的批量日期相对应的该采集表的控制信息。

8.如权利要求3或4所述的对分片数据库数据采集的方法，其特征为：步骤C中采集子程序采集分片数据库中的数据时，采集子程序根据配置，对同一个采集表的不同分片数据库的最大并发采集线程数进行控制，并根据当前系统的运行状态自动调整最大并发采集线程数的阈值。