[发明专利]对分片数据库数据采集的系统和方法

摘要

本发明涉及对分片数据库数据采集的系统和方法，系统包括主程序模块：接收参数，启动xcat线程；配置模块：对每个分片数据库的连接信息进行配置；优先级配置模块：存储采集表的优先级配置信息；控制信息模块：通过控制信息表记录采集表的控制信息；采集子程序模块：接收控制信息表生成的数据和主程序模块的参数输出，对同一个采集表从不同的分片数据库中进行分布式并发数据采集。本发明在对大数据量的数据仓库进行数据采集时，对已有和新增的分库分表都完全实现了可配置化数据采集，不需要开发任务脚本，不需要变更应用程序，只需根据相应的关联配置信息即可实现，因此也使得采集数据的性能更加高效。