[发明专利]数据提取方法、系统、处理器及电子设备

说明书

本申请公开了一种数据提取方法、系统、处理器及电子设备。涉及云计算领域，该方法包括：确定测试需求指标，并在第一数据源上根据测试需求指标构建包含多个字段类型的数据提取表；通过数据提取表在第一数据源上提取数据，得到多个第一提取数据；判断多个第一提取数据的字段类型是否已包含数据提取表全部的字段类型；在多个第一提取数据的字段类型未包含数据提取表全部的字段类型的情况下，通过数据提取表在第二数据源提取数据，得到多个第二提取数据；将多个第一提取数据和多个第二提取数据确定为满足测试需求指标的测试数据。通过本申请，解决了相关技术中从多个数据源提取需要的测试数据时需要手动准备数据，导致提取测试数据的效率低的问题。

技术领域

本申请涉及云计算领域，具体而言，涉及一种数据提取方法、系统、处理器及电子设备。

背景技术

随着大数据平台对接的数据源类型日益丰富，不同的数据源可支持数据编码格式，字段类型、特殊字符等特性差异性较大，测试人员在测试数据准备工作中需要对每种数据源的特性都十分了解才能准备出符合需求的测试数据，因此测试数据准备工作对测试人员的技术门槛存在一定要求。

相关技术中，在对测试数据进行准备时，测试人员需要在不同的数据源手动提取数据，再利用导数工具将提取的数据导入进行测试的系统，不同数据源用到的导数工具也不同，导数过程中导数工具的编码格式、脚本编码格式等诸多因素都会导致测试数据的不准确，操作起来也十分繁琐不便；另外，在大数据批量加工处理过程中，对数据的离散程度、数据量级也有一定要求，人工造数对数据离散性的控制较难，因此利用导数工具时是从数据源对应的生产环境直接导数，导数流程耗费的时间较长，也影响了测试人员对测试进度的把控。

针对相关技术中从多个数据源提取需要的测试数据时需要手动准备数据，导致提取测试数据的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种数据提取方法、系统、处理器及电子设备，以解决相关技术中从多个数据源提取需要的测试数据时需要手动准备数据，导致提取测试数据的效率低的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种数据提取方法。该方法包括：确定测试需求指标，并在第一数据源上根据测试需求指标构建包含多个字段类型的数据提取表，其中，第一数据源为测试需求指标中的数据表类型对应的数据源；通过数据提取表在第一数据源上提取符合测试需求指标的数据，得到多个第一提取数据；判断多个第一提取数据的字段类型是否已包含数据提取表全部的字段类型；在多个第一提取数据的字段类型未包含数据提取表全部的字段类型的情况下，通过数据提取表在第一数据源以外的第二数据源提取符合测试需求指标的数据，得到多个第二提取数据；将多个第一提取数据和多个第二提取数据确定为满足测试需求指标的测试数据。

可选地，在第一数据源上根据测试需求指标构建包含多个字段类型的数据提取表包括：获取第一数据源的数据表结构定义方式；确定多个字段类型中每个字段类型的名称，并确定测试需求指标中特殊字符指标和中文字符指标；按照数据表结构定义方式在第一数据源生成一个包含多个字段类型、每个字段类型的名称、特殊字符指标和中文字符指标的数据提取表。

可选地，通过数据提取表在第一数据源上提取符合测试需求指标的数据，得到多个第一提取数据包括：确定第一数据源中符合测试需求指标的数据的至少一个字段类型；将第一数据源中每个字段类型的数据值添加至数据提取表，得到第一提取数据；通过数据提取表在第一数据源以外的第二数据源提取符合测试需求指标的数据，得到多个第二提取数据包括：确定第二数据源中符合测试需求指标的数据的除第一数据源中的字段类型以外的其他字段类型；将第二数据源中每个其他字段类型的数据值添加至数据提取表，得到第二提取数据。