[发明专利]一种ETL软件测试方法和装置

说明书

本发明涉及软件测试技术领域，提供了一种ETL软件测试方法和装置，其中方法包括：将源数据导入预设的测试流程进行处理，测试流程包括数据读取、数据交互转换与数据加载；获取处理后的测试结果，将测试结果与预期结果进行匹配，并将匹配结果记录；将记录的匹配结果反馈给测试人员；匹配过程具体为：先将测试结果与预期结果的数据结构匹配；数据结构匹配成功后，再将测试结果与预期结果的行数匹配；行数匹配成功后，继续对测试结果中每一行数据进行匹配。本发明通过自动化的方式完成数据源的获取、数据转换转换设计以及结果匹配校验，实现ETL软件的自动化测试，在匹配校验时采用由简到难的分步匹配，大大节约了测试运行时间，提高匹配效率。

【技术领域】

本发明涉及软件测试技术领域，具体涉及一种ETL软件测试方法和装置。

【背景技术】

ETL(Extract-Transform-Load，数据抽取、转换和加载)是一个完整的从联机事务数据库中提取数据、进行转换处理、然后载入至数据仓库的过程，负责完成数据从数据源向目标数据仓库的转化，是实施数据仓库的重要步骤。

在ETL的测试过程中，需将完成测试后的数据与预期结果匹配，以进行结果验证，只有数据完全匹配，才能认定ETL的测试过程是成功的；当出现匹配失败时，证明测试过程存在问题，需要对测试过程进行调整改进。然而，ETL测试数据量通常十分庞大，如果对整体的数据进行逐一匹配，将使得测试过程非常复杂，任务量繁重，匹配效率低，测试过程运行时间长；而且，在进行调整改进时，未将匹配失败时对应的差异化数据进行有效利用，使得对测试过程的调整缺乏针对性和目的性，比较费时。

鉴于此，克服上述现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明需要解决的技术问题是：

在ETL测试过程中，数据量通常十分庞大，如果对整体数据进行逐一匹配将使任务量繁重，匹配效率低，测试过程运行时间长；而且，在进行调整改进时，对测试过程的调整缺乏针对性和目的性，比较费时。

本发明通过如下技术方案达到上述目的：

第一方面，本发明提供了一种ETL软件测试方法，对于源数据，预先生成预期结果，所述方法包括：

将源数据导入预设的测试流程进行处理；其中，所述测试流程包括数据读取、数据交互转换与数据加载；

获取处理后的测试结果，将测试结果与预期结果进行分步匹配，并将匹配结果进行记录；

将记录的所述匹配结果反馈给测试人员；

其中，所述测试结果与所述预期结果均由二维表组成，所述将测试结果与预期结果进行分步匹配具体为：将所述测试结果的数据结构与所述预期结果的数据结构进行匹配；数据结构匹配成功后，将所述测试结果的行数与所述预期结果的行数进行匹配，行数匹配成功后，继续将所述测试结果中的每一行数据与所述预期结果中的对应行数据进行逐行匹配。

优选的，所述将所述测试结果的数据结构与所述预期结果的数据结构进行匹配具体为：将所述测试结果的列数与所述预期结果的列数进行匹配；列数匹配成功后，继续将所述测试结果每一列的数据定义与所述预期结果每一列的数据定义进行匹配。

优选的，当所述测试结果与所述预期结果之间行数匹配成功后，所述方法还包括：统计所述测试结果的总数据量，将所述测试结果的总数据量大小与所述预期结果的总数据量大小进行匹配，总数据量大小匹配成功后，继续将所述测试结果中的每一行数据与所述预期结果中的对应行数据进行匹配。

优选的，所述将所述测试结果中的每一行数据与所述预期结果中的对应行数据进行匹配具体为：

统计所述测试结果中每一行的数据量大小；

逐行匹配所述测试结果中每行的数据量大小与所述预期结果中对应行的数据量大小；