[发明专利]一种数据仓库数据异常的预检测方法和设备

说明书

本申请公开了一种数据仓库数据异常的预检测方法和设备，通过应用本申请实施例所提出的技术方案，服务器将当前的在线数据同步到数据仓库中作为待检测的基础数据，与之前的离线数据进行对比，并在基础数据出现变化的情况下，按照之前的处理规则生成模拟应用数据，进一步通过与之前的应用数据进行对比，来确定数据是否异常，从而，服务器可以对数据异常进行预判，而待检测的基础数据和模拟应用数据均为预生成的数据，可以有效的避免由于发现数据异常的滞后性而引起的不可挽回的损失，同时还节省了对异常数据进行修复时而产生的不必要的成本。

技术领域

本申请涉及数据仓库领域，特别是涉及一种数据仓库数据异常的预检测方法和设备。

背景技术

数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策，所述数据仓库中的数据从产生到使用需要间隔T(Today，今天)+1一天，即今天产生的数据明天才可以使用，具体的，当所述数据仓库中存储的数据位打分规则时，服务器获取今天需要打分的对象，所述服务器在明天的时候才能使用所述数据仓库中的打分规则对获取的对象进行打分。

传统数据仓库常采用T+1同步在线数据并在此基础上计算T+1的应用结果。当在线数据是一些人工配置的打分规则信息时，而基于此信息，需要进行离线计算时，如果人工配置出错，打分结果则会出现异常，且不易被发现及处理。

在现有技术中，是在根据T+1打分规则产生打分结果后，再对打分规则进行效验，即今天产生的打分规则后，在明天根据今天的打分规则产生打分结果后再对今天的打分规则进行效验。

在实现本申请的过程中，申请人发现现有技术至少存在以下问题：

T+1的运行流程计算完毕之后，只能通过实际计算结果监控亦或是应用到实际业务中才能发现问题，发现数据异常具有严重的滞后性，数据质量问题已成事实，数据修复有一定成本，但是对对业务造成的损失有可能是无法挽回的。

发明内容

本申请的目的在于提供一种数据仓库数据异常的预检测方法和设备，在当前规则配置下的在线数据和离线基础数据的对比，对数据异常进行预判，进而避免由于发现数据异常的滞后性而引起的不可挽回的损失，同时还节省了对异常数据进行修复时而产生的不必要的成本。

一方面，本申请实施例提出了一种数据仓库数据异常的预检测方法，所述方法包括：

服务器根据预设的同步周期，将当前的在线数据同步到数据仓库中，作为待检测的基础数据；

所述服务器判断所述待检测的基础数据与上一个同步周期的基础数据是否相同；

如果判断结果为否，所述服务器根据前一个打分周期的处理规则，对所述待检测的基础数据生成模拟应用数据；

所述服务器判断所述模拟应用数据与所述前一个打分周期的应用数据是否相同；

如果判断结果为否，所述服务器确定数据仓库数据异常。

优选的，在当前的同步周期为当前的打分周期内的第一个同步周期时，所述服务器判断所述待检测的基础数据与上一个同步周期的基础数据是否相同，具体为：

所述服务器使用当前打分周期的第一个同步周期的待检测的基础数据与上一个打分周期的最后一个同步周期的基础数据进行对比，判断两者是否相同。

优选的，所述服务器判断所述待检测的基础数据与上一个同步周期的基础数据是否相同之后，还包括：

如果判断结果为是，所述服务器确定数据仓库数据正常。

优选的，所述服务器判断所述模拟应用数据与所述前一个打分周期的应用数据是否相同之后，还包括：