[发明专利]数据增量处理的方法和装置

摘要

本发明公开了一种数据增量处理的方法和装置，涉及互联网技术领域，能够解决在处理数据仓库与SSAS数据不一致时，处理效率低的问题。本发明的方法包括：在进行本次数据自动处理之前，获取第一数据库中记录的最近一次数据自动处理的处理标识，处理标识包括时间标识和位置标识；从第一数据库的元数据中获取时间字段；判断时间标识中的内容与时间字段中的内容是否相同；若判断结果为相同，则根据位置标识进行增量处理；若判断结果为不同，则对待数据自动处理对应的分区进行全处理。本发明适用于SSAS从数据仓库中抽取增量数据的场景中。

主权项

一种数据增量处理的方法，其特征在于，所述方法包括：在进行本次数据自动处理之前，获取第一数据库中记录的最近一次数据自动处理的处理标识，所述数据自动处理为周期性将第二数据库中的数据更新到所述第一数据库中，所述数据自动处理为增量处理或全处理，所述处理标识包括时间标识和位置标识，所述时间标识用于表征数据自动处理完成时的时间，所述位置标识用于表征数据自动处理完成后所述第二数据库中最后一行数据的位置；从所述第一数据库的元数据中获取时间字段，所述时间字段用于记录最近一次对所述第一数据库进行数据处理完成时的时间；判断所述时间标识中的内容与所述时间字段中的内容是否相同；若判断结果为相同，则根据所述位置标识进行增量处理，所述增量处理为将所述第二数据库中的增量数据导入到所述第一数据库中；若判断结果为不同，则对待数据自动处理的分区进行全处理，所述全处理为删除所述第一数据库中待处理区域内的全部数据，并将所述第二数据库中对应所述区域的全部数据导入到所述区域中。