[发明专利]ETL中数据主键号的生成方法及计数器

说明书

技术领域

本发明涉及数据处理技术领域，尤其涉及一种ETL中数据主键号的生成方法及计数器。

背景技术

在数据采集过程中采用的ETL(Extraction-Transformation-Loading，数据提取、转换和加载)工具，均提供了数据转换功能，即从一种格式的数据流转为另一种格式的数据流，通过组装一系列功能转换节点流程，可完成一项从数据源至目标数据的数据转换任务，其中，计数器节点常用于数据库表数据主键的生成，即将从上节点抽取的每条数据生成其对应的主键号，以存储在数据库中。

现有技术的ETL中数据主键号的生成方法为：在抽取数据后，根据固定的起始值和增长根据对数据从起始值到最大值进行主键步增。如图1所示，如果起始值和增长根据均为1，则抽取的第一条数据生成的主键号为1，第二条数据的主键号为2，一直到数据抽取完毕，最大主键号即为抽取数据的最大条数。

然而，当上述主键号生成方法应用于数据量十分巨大的情况时，必须对所有数据进行全量抽取，从第一条数据一直步增至最后一条数据，该方法降低了数据抽取的性能。

发明内容

本发明实施例提供一种ETL中数据主键号的生成方法及计数器，能够实现数据的增量抽取，增强数据抽取的性能。

为了解决上述技术问题，本发明实施例的技术方案如下：

一种ETL中数据主键号的生成方法，包括：

根据第一次抽取数据生成的主键号，设定第二次抽取数据的主键号的起始值；

根据所述第二次抽取数据的主键号的起始值和预设的增长根据，进行主键步增生成第二次抽取数据的主键号。

进一步，所述根据第一次抽取数据生成的主键号，设定第二次抽取数据的主键号的起始值，具体为：

根据第一次抽取数据生成的最大主键号，设定所述第二次抽取数据的主键号的起始值。

进一步，所述根据第一次抽取数据生成的最大主键号，设定所述第二次抽取数据的主键号的起始值，具体为：

将所述第一次抽取数据生成的最大主键号加一，设定为所述第二次抽取数据的主键号的起始值。

进一步，所述预设的增长根据为1。

进一步，所述第二次抽取数据的主键号的最大值不大于999999999。

一种计数器，包括：

设定模块，用于根据第一次抽取数据生成的主键号，设定第二次抽取数据的主键号的起始值；

生成模块，用于根据所述第二次抽取数据的主键号的起始值和预设的增长根据，进行主键步增生成第二次抽取数据的主键号。

进一步，所述设定模块，具体用于根据第一次抽取数据生成的最大主键号，设定所述第二次抽取数据的主键号的起始值。

进一步，所述设定模块，具体用于将所述第一次抽取数据生成的最大主键号加一，设定为所述第二次抽取数据的主键号的起始值。

进一步，所述预设的增长根据为1。

进一步，所述第二次抽取数据的主键号的最大值不大于999999999。

现有技术的ETL中数据主键号生成方法，对于数据量十分巨大的情况，由于起始值的固定设置决定了对数据量的全量抽取方式，从而降低了数据抽取的性能。本发明实施例所提供的数据主键号的生成方法及计数器通过动态设置起始值，解决了主键冲突问题，实现了对大量数据的增量抽取方式，增强了数据抽取的性能。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一种ETL中数据主键号的生成方法流程图；

图2是本发明实施例另一种ETL中数据主键号的生成方法流程图；

图3是本发明实施例一种ETL中计数器的结构示意图。

具体实施方式

为了使本领域技术人员能进一步了解本发明的特征及技术内容，请参阅以下有关本发明的详细说明与附图，附图仅提供参考与说明，并非用来限制本发明。