[发明专利]数据加载方法及装置

权利要求书

1.一种数据加载方法，其特征在于，应用于对数据进行抽取-转换-加载ETL，所述方法包括：

扫描周期到达时，从数据源读取数据记录至数据记录集合，作为所述数据记录集合中的第一数据记录；

遍历所述数据记录集合中的所述第一数据记录，针对遍历到的任一第一数据记录，根据所述第一数据记录的主键在缓存数据库中进行检索；其中，所述缓存数据库中包括生命周期未终止的有效数据记录；

当在所述缓存数据库中未检索到与所述主键匹配的数据记录时，将所述第一数据记录添加至新增数据记录集合，并将所述新增数据记录集合中的数据记录插入目标数据库的全量数据表；以及，将所述第一数据记录存入所述缓存数据库；

当在所述缓存数据库中检索到与所述主键匹配的数据记录、且所述第一数据记录的生命周期终止时，将所述第一数据记录添加至生命周期终止数据记录集合，并用所述生命周期终止数据记录集合中的数据记录替换与其主键一致的所述全量数据表中的数据记录；以及，在所述缓存数据库中删除检索到的数据记录。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

在首个扫描周期到达之前，将所述全量数据表中生命周期未终止的有效数据记录导入所述缓存数据库。

3.根据权利要求2所述的方法，其特征在于，所述从数据源读取数据记录至数据记录集合，包括：

在扫描周期达到时，根据上一个扫描周期内设置的时间变量的取值从所述数据源读取一条或多条更新时间晚于所述取值的数据记录。

4.根据权利要求3所述的方法，其特征在于，所述从所述数据源读取一条或多条更新时间晚于所述取值的数据记录之后，该方法还包括：

将所述时间变量的取值更新为本扫描周期内从数据源读取的数据记录中的最近的更新时间。

5.根据权利要求3所述的方法，其特征在于，所述将所述全量数据表中生命周期未终止的有效数据记录导入所述缓存数据库时，

将所述时间变量的取值设置为所述缓存数据库中所有数据记录中的最近的更新时间。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

对所述数据记录集合中的所述第一数据记录遍历完成之后，将所述数据记录集合删除；

将所述新增数据记录集合中的数据记录插入目标数据库的全量数据表之后，将所述新增数据记录集合删除；

用所述生命周期终止数据记录集合中的数据记录替换与其主键一致的所述全量数据表中的数据记录之后，将所述生命周期终止数据记录集合删除。

7.一种数据加载装置，其特征在于，应用于对数据进行抽取-转换-加载ETL，包括：

读取模块，用于扫描周期到达时，从数据源读取数据记录至数据记录集合，作为所述数据记录集合中的第一数据记录；

检索模块，用于遍历所述数据记录集合中的所述第一数据记录，针对遍历到的任一第一数据记录，根据所述第一数据记录的主键在缓存数据库中进行检索；其中，所述缓存数据库中包括生命周期未结束的数据记录；

第一添加模块，用于当在所述缓存数据库中未检索到与所述主键匹配的数据记录时，将所述第一数据记录添加至新增数据记录集合；

第二添加模块，用于当在所述缓存数据库中检索到与所述主键匹配的数据记录、且所述第一数据记录的生命周期终止时，将所述第一数据记录添加至生命周期终止数据记录集合；

插入模块，用于将所述新增数据记录集合中的数据记录插入目标数据库的全量数据表；

替换模块，用于用所述生命周期终止数据记录集合中的数据记录替换与其主键一致的所述全量数据表中的数据记录；

存储模块，用于当在所述缓存数据库中未检索到与所述主键匹配的数据记录时，将所述第一数据记录存入所述缓存数据库；

第一删除模块，用于当在所述缓存数据库中检索到与所述主键匹配的数据记录、且所述第一数据记录的生命周期终止时，在所述缓存数据库中删除检索到的数据记录。