[发明专利]一种多源异构关系型数据库数据的增量采集方法

摘要

本发明涉及一种多源异构关系型数据库数据的增量采集方法，属于数据仓库或者数据中台领域。本发明在数据采集过程中，利用源数据库表的记录进行哈希运算，得到记录的哈希值，与目的表中存储的哈希值进行对比，通过对记录集的排序，能够加快源数据表记录集与目的数据表记录集的对比时间复杂度。能够实现快速的增量数据采集。本方法对不依赖多源异构数据库的存储技术，利用通用的读取数据方式，并在内存中计算，适用多种数据库。因此，本发明在多源异构的关系数据库中适合快速大批量进行增量采集。