[发明专利]一种数据源变更预警方法

说明书

技术领域

本发明涉及通信技术领域，特别涉及一种数据源变更预警方法。

背景技术

数据仓库是数据中心的重要组成部分，通过对业务数据的抽取、清洗、转换、加载、存储，构建统一的数据集市和数据仓库，实现对数据的深度挖掘和报表展现。数据源是指业务源系统（简称源系统）中向数据仓库提供业务数据的技术对象。数据仓库系统通过数据源来抽取源系统中的业务数据。当数据仓库系统面对众多业务信息系统，面对海量数据的接入时，往往是用户反映数据问题或数据抽取发生错误后，数据仓库系统才知道业务源系统已发生了变化，这时已经影响到一些应用系统的数据展示，能否及时发现数据源变更，并能够有效处理变更，直接关系到数据抽取的准确性、完整性和及时性，这样就迫切需要一种完整高效的数据源变更预警方法，为数据仓库系统数据的准确性、完整性和及时性提供支持，防止因数据源变更对数据仓库数据造成的各种不良影响。

现有技术中的一种数据源变更预警方法是:操作人员在指定的时间点向源系统发出预警命令，获取源系统数据，将源系统数据与查询结果数据与自身数据一一比对，对变更的数据发出预警信号；其不足在于：每次预警需要人工操作，工作量大；而且操作人员不在身边的时候，无法操作；这种方式一般数据预警比较延后，往往源系统数据源变动后较长一段时间，系统才预警。

现有技术中的另一种数据源变更预警方法是:实时获取源系统数据，将源系统数据与查询结果数据与自身数据一一比对，对变更的数据发出预警信号；其不足在于：数据流量过大，占用带宽太多，影响系统其它数据的正常传输，同时还会降低系统性能。

发明内容

本发明目的解决现有技术存在的问题，提供一种数据源预警及时又不会过多占用流量或影响系统性能的数据源变更预警方法。

为了实现所述目的，本发明一种数据源变更预警方法，包括如下步骤：

步骤1、设置预警周期模式，在每个周期的开始获取数据源对比时间；

步骤2、判断是否是第一次数据源变更预警，如果是则对比时间设为本次预警开始时间减去24小时，否则对比时间设为上一次预警的开始时间；

步骤3、获取源系统数据源变更日志，读取数据源的变更时间；

步骤4、比较对比时间与数据源变更时间，如果变更时间在前，则进入步骤5，否则，进入步骤6；

步骤5、判断是否是最后一个数据源，如果是，数据源变更预警完成，否则，获取下一个数据源的变更时间，并进入步骤4；

步骤6、对上一步骤中的数据源预警，并进入步骤5。

为了实现所述目的，本发明另一种数据源变更预警方法，包括如下步骤：

步骤1、设置预警周期模式，在每个周期的开始获取数据源对比时间；

步骤2、判断是否是第一次数据源变更预警，如果是则对比时间设为本次预警开始时间减去24小时，否则对比时间设为上一次预警的开始时间；

步骤3、获取源系统数据源变更日志，对日志内容按时间顺序排列，获取小于对比时间中最接近对比时间的数据源变更时间，对所述数据源变更时间之后的所有数据源预警。

优选的，所述数据源预警方式为通过数据表格将源系统数据源的数据名称、变更方式、变更内容、变更时间及数据仓库系统中对应的数据源变更时间记录在同一行表格中，并显示。

优选的，监视所有正在预警的数据源所对应的数据仓库中的数据源的变更时间，当数据仓库中的数据变更时间大于源系统的数据源变更时间时，解除数据源预警，并将信息反馈给源系统。

当数据仓库的数据源执行修改操作时，可能会出现系统等原因引起的数据修改未成功的情况，通过数据仓库中的数据变更时间对比源系统的数据源变更时间来判断数据源中的数据源是否更改成功，这样在出现上述情况时继续预警，提醒用户修改未成功；而同过数据反馈，可以通知源系统操作人员数据仓库中的数据已响应更改，源系统操作人员如果迟迟未收到反馈，可与数据仓库管理人员联系，手动更新数据并查找原因，提高数据仓库系统数据的准确性。

优选的，所述步骤1中的周期模式包括半固定周期模式，所述半固定周期模式为：

预警周期自动设定为1天，计算数据源变更预警平均反应时间

数据源变更预警平均反应时间=∑（数据源预警时间–数据源最后更变时间）/数据源预警个数；

计算每个时间点的数据源变更预警平均反应时间，并对其排序，选择最小的时间点X为预警周期的开始时间。