[发明专利]数据仓库数据表的监控方法、装置及系统

说明书

本申请公开一种数据仓库数据表的监控方法、装置及系统。该方法包括：检测数据仓库中是否有数据表将被更新；当检测到数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的数据表；当待监控的数据表包括将被更新的数据表时，记录将被更新的数据表当前的第一信息；判断将被更新的数据表是否被更新完成；当将被更新的数据表被更新完成时，记录数据表被更新后的第二信息；判断第一信息与第二信息是否相同；以及当第一信息与第二信息不同时，发送数据表的更新通知。该方法能够及时通知被更新数据表的其他使用者，确保数据仓库数据表中数据的一致性，避免数据错误。

技术领域

本发明涉及数据仓库技术领域，具体而言，涉及一种数据仓库数据表的监控方法、装置及系统。

背景技术

数据仓库是采集、存储及加工数据的大工厂。为了让数据在后续的数据清洗、数据应用中更便于管理、提升效率，都会对数据仓库进行分层。通常分为四层：缓冲数据层、基础数据层、通用数据层及聚合应用层。这四层均会涉及不同特征的数据表，用于存储不同用处和不同粒度的数据。数据表和数据表之间有着充分条件和必要条件。数据表是由不同程序加工出来的，这使得程序和程序之间也会满足各种充分条件和必要条件。在实际应用中，将这些充分条件和必要条件通过配置文件(如配置表)来维护一套完整的程序之间执行顺序的依赖关系，从而确保各数据表之间的逻辑关系。

目前可通过调度平台在配置文件中配置任务来自动执行数据仓库中的各程序，或者也可以通过SecureCRT工具直接调用并执行数据仓库中的python程序或shell程序，或通过SecureCRT工具通过Linux命令直接使各程序按照一定的规则执行。

但无论是通过调度平台基于配置文件来运行程序，还是通过SecureCRT工具直接调用并运行程序，均存在着因上层数据被重新计算，与下层数据不一致，而导致下层程序运行结果出现错误的问题。并且在大型数据仓库中，每天程序的运算量非常巨大，一旦出现数据错误，需要耗费大量的人工，严重影响了数据仓库的数据处理效率。

在所述背景技术部分公开的上述信息仅用于加强对本发明的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本发明提供一种数据仓库数据表的监控方法、装置及系统，能够及时通知被更新数据表的其他使用者，确保数据仓库数据表中数据的一致性，避免数据错误。

本发明的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本发明的实践而习得。

根据本发明的一方面，提供一种数据仓库数据表的监控方法，包括：检测数据仓库中是否有数据表将被更新；当检测到数据仓库中有数据表将被更新时，判断待监控的数据表是否包括将被更新的数据表；当待监控的数据表包括将被更新的数据表时，记录将被更新的数据表当前的第一信息；判断将被更新的数据表是否被更新完成；当将被更新的数据表被更新完成时，记录数据表被更新后的第二信息；判断第一信息与第二信息是否相同；以及当第一信息与第二信息不同时，发送数据表的更新通知。

根据本发明的一实施方式，检测数据仓库中是否有数据表将被更新包括：当数据仓库中的任务指令开始被执行时，启动一监控作业，产生并记录程序日志，程序日志包括：将被更新的数据表；以及检测程序日志，以检测数据仓库中是否有数据表将被更新。

根据本发明的一实施方式，判断将被更新的数据表是否被更新完成包括：判断监控作业是否被结束，如果监控作业被结束，则判断将被更新的数据表被更新完成。

根据本发明的一实施方式，第一信息和第二信息被记录于一配置表中，配置表还包括：监控作业的标识、数据表的名称及数据表的路径。

根据本发明的一实施方式，发送数据表更新通知包括：向数据表的所有使用者发送更新通知。

根据本发明的一实施方式，待监控的数据表及待监控的数据表的所有使用者信息被配置于一配置文件中。