[发明专利]数据采集转换方法及装置

说明书

本发明提供一种数字采集转换方法及装置，该方法包括数据采集步骤，采集源文件的数据，并分析源文件的参数字段，提取每一参数字段的数据；其中，该方法还包括字段设置步骤，设置源文件的参数字段与目标文件的参数字段的对应关系；数据转换步骤，根据所设置的源文件的参数字段与目标文件的参数字段的对应关系，将源文件的参数字段的数据匹配至目标文件对应的参数字段；目标文件生成步骤，应用匹配到目标文件参数字段的数据生成目标文件。该装置包括数据采集模块、字段设置模块、数据转换模块以及目标文件生成模块，并实现上述的数字采集方法。本发明能让使用者自行设置源文件的参数字段与目标文件的参数字段的对应关系，实用更加灵活、方便。

技术领域

本发明涉及数据处理及显示领域，尤其是一种用于数据自动采集并转换的方法以及实现这种方法的装置。

背景技术

随着计算机技术与网络技术的发展，人们开发出越来越多的软件以及数据库，不同软件与不同数据库所生成的文件的格式往往不相同。而目前生产应用、商业智能分析、第三方系统接口开发等等领域往往需要使用多个不同数据源的数据，并且需要将数据处理、分析后才能使用，因此，人们首先需要对多个源文件的数据进行采集，并且将采集的数据进行处理、转换。

现有的数据采集、转换方法一般有：数据文件读取采集方法以及数据库环境采集方法，通过上述方法来对外部文件或数据库的数据进行采集。但目前此类数据采集方法大多需要人工干预，且数据转换、加工不够自动、智能化，而且往往不能兼容较多的源文件格式、数据库类型，影响数据采集的效率。

为了实现对数据的处理并转换成目标文件，人们开发出各种的ETL（Extract-Transform-Load，数据抽取、转换、装载）软件用于将不同格式的文件的数据进行处理，并且将处理后的数据转换成另一种格式的文件。然而，现有的ETL软件往往不能根据实际使用需要个性化地设置源文件与目标文件之间的各个参数字段的匹配关系，导致ETL软件的应用受到限制。

发明内容

本发明的主要目的是提供一种可由使用者自行定义源文件与目标文件参数字段匹配关系的数据采集转换方法。

本发明的另一目的是提供一种应用范围广且使用灵活的数据采集转换装置。

为了实现上述的主要目的，本发明提供的数据采集转换方法包括数据采集步骤，采集源文件的数据，并分析源文件的参数字段，提取每一参数字段的数据；其中，该方法还包括字段设置步骤，设置源文件的参数字段与目标文件的参数字段的对应关系；数据转换步骤，根据所设置的源文件的参数字段与目标文件的参数字段的对应关系，将源文件的参数字段的数据匹配至目标文件对应的参数字段；目标文件生成步骤，应用匹配到目标文件参数字段的数据生成目标文件。

由上述方案可见，对数据进行采集后，使用者可以根据实际使用需要自己设置源文件的参数字段与目标文件的参数字段的对应关系并由此生成目标文件，数据的采集转换更为灵活。

一个优选的方案是，数据转换步骤中，将源文件的参数字段的数据匹配至目标文件对应的参数字段的步骤包括将一个或多个源文件的参数字段的数据进行计算和/或判断后，生成匹配至目标文件对应的参数字段的数据。

由此可见，使用者可以根据使用的需要将一个或多个源文件的参数字段进行特殊的处理，如进行合并计算、逻辑计算或者进行特定的条件判断进而生成目标文件的参数字段的数据，使得数据的采集转换更加实用。

进一步的方案是，生成目标文件的数据时，对源文件的数据计算和/或判断后生成中间表并写入中间表中，生成目标文件后，删除中间表的数据。

可见，在需要对源文件的数据进行较为复杂的计算或者判断时，先将初步处理的数据写入到中间表中，并且在将中间表的数据处理完毕并生成目标文件后，将中间表的数据删除，这样的操作可以更为有效地提高数据处理的准确性。