[发明专利]基于文件驱动的SAS自动数据验证方法及验证系统

说明书

本发明涉及一种基于文件驱动的SAS自动数据验证方法及验证系统，验证方法包括以下步骤：S1：构建SAS自动验证架构；S2：获取验证数据源文件，并将验证数据源文件存储在对应的驱动文件位置；S3：判断待验证的验证SAS模块的驱动文件位置上是否存储有数据文件，若是，验证SAS模块对其依赖的驱动文件位置上的数据文件进行验证处理，获取产出数据文件，否则返回步骤S3，直到所有验证SAS模块完成验证，进入步骤S4；S4：差异生成SAS模块对其依赖的驱动文件位置上的数据文件进行验证处理，获取差异结果文件，完成数据验证。与现有技术相比，本发明实现自动判断文件到位，能提高验证效率。

技术领域

本发明涉及计算机数据处理领域，尤其是涉及一种基于文件驱动的SAS自动数据验证方法及验证系统。

背景技术

在OLAP(Online Analytical Process)系统的实施过程中会涉及到大量变量加工逻辑的数据验证工作。现有技术中，验证人员需要首先编写一个到多个SAS(STATISTICALANALYSIS SYSTEM)模块，复写变量加工逻辑，SAS模块之间存在相互依赖，有严格的执行先后顺序，然后验证人员将变量加工所需数据文件放置到指定位置，并在SAS工作台中依顺序执行SAS模块，将SAS模块运行的结果与系统的运行结果进行比较，获取差异结果文件，验证人员排查数据差异原因，修复系统缺陷或者SAS模块缺陷之后，重新运行系统或者SAS模块，如此反复，直至验证通过。上述现有技术中，当前由于SAS模块不能自动判断数据文件是否到位，并在数据文件到位之后自动运行，需要由验证人员控制SAS模块的运行顺序，使得无法及时生成验证结果，效率低。

发明内容

本发明的目的就是为了克服上述现有技术存在的缺陷而提供一种基于文件驱动的SAS自动数据验证方法及验证系统。

本发明的目的可以通过以下技术方案来实现：

一种基于文件驱动的SAS自动数据验证方法，包括以下步骤：

S1：构建SAS自动验证架构，所述的自动验证架构包括多个验证SAS模块和一个差异生成SAS模块；

S2：获取验证数据源文件，并将验证数据源文件存储在对应的驱动文件位置；

S3：判断待验证的验证SAS模块的驱动文件位置上是否存储有数据文件，若是，验证SAS模块对其依赖的驱动文件位置上的数据文件进行验证处理，获取产出数据文件并存储在对应的驱动文件位置，否则返回步骤S3，直到所有验证SAS模块完成验证，进入步骤S4；

S4：差异生成SAS模块对其依赖的驱动文件位置上的数据文件进行验证处理，获取差异结果文件，完成数据验证。

优选地，所述的验证数据源文件的数据源包括数仓、审批系统数据、催收系统数据和发卡核心系统数据。

优选地，所述的验证SAS模块、差异生成SAS模块中均包括监听子模块和执行子模块，所述的监听子模块实时检测本模块依赖的驱动文件位置上是否存储有数据文件，所述的执行子模块对其依赖的驱动文件位置上的数据文件进行验证处理。

优选地，所述的监听子模块采用Quartz中间件间隔固定时间扫描驱动文件位置上的文件到位情况。

优选地，所述的SAS自动验证架构还包括用于存储验证数据源文件、产出数据文件的数据库。

一种基于文件驱动的SAS自动数据验证系统，包括SAS自动验证架构、数据源文件获取模块、任务配置模块，

所述的自动验证架构包括多个验证SAS模块和一个差异生成SAS模块；

所述的数据源文件获取模块用于获取验证数据源文件，并将验证数据源文件存储在对应的驱动文件位置；