[发明专利]数据加载分发的方法、装置及存储介质

权利要求书

1.数据加载分发的方法，其特征在于：包括以下步骤：

从预存储的配置信息中读取当前任务的配置信息；

通过配置信息进行任务初始化后，保存任务的状态信息；

计算本次加载的所需参数，并根据该参数从数据源加载数据；其中，所述参数为排序字段的取值筛选范围；

根据配置信息将加载到的数据分发至目的地；

重新计算并保存任务的状态信息；

根据任务的状态信息确定本次加载记录数；

根据本次加载记录数确定数据加载分发的执行进度，完成最终的数据加载分发操作；

所述任务的配置信息包括：

数据源连接参数，用于配置连接到数据源所需的参数；

分页大小，用于控制单次加载的最大记录数；

数据表，用于指定待加载的数据处于目标数据源中的具体数据集合位置；

排序字段名称，用于根据待加载数据的特性和业务特性，在数据表中选取一个字段作为加载遍历顺序的依据；

排序顺序，用于为加载遍历指定一个基于排序字段的排序顺序，所述排序顺序包括升序排序和降序排序；

排序字段取值范围最小值函数，用于计算排序字段取值范围的最小值；

排序字段取值范围最大值函数，用于计算排序字段取值范围的最大值；

加载时间间隔，用于指定每次加载之间的时间间隔；

轮次时间间隔，用于指定每轮加载之间的时间间隔；

分发方式，用于从SPI提供者中选择对应的提供者来提供分发服务；

分发目的地，用于确定分发的目的地；

所述任务的状态信息包括：

锁标识，用于作为处理任务的线程的凭证，同一时刻中的每一个任务只能由一个线程执行；

锁超时时间，用于表示锁的过期时间；

排序字段范围最小值，用于：如果排序顺序为升序排序，则所述排序字段范围最小值表示下次加载时使用的排序字段取值范围的最小值；如果排序顺序为降序排序，则所述排序字段范围最小值无实际含义；

排序字段范围最大值，如果排序顺序为降序排序，则所述排序字段范围最大值表示下次加载时使用的排序字段取值范围的最大值；如果排序顺序为升序排序，则所述排序字段范围最大值无实际含义；

上一次加载结果中排序最靠后的记录中排序字段的取值，用于表示上一次加载结果中排序最靠后的记录中排序字段的取值，该值是下一次加载数据筛选范围的一个端点；

上一次加载结果中排序字段取值与上一次加载结果中排序最靠后的记录中排序字段的取值相等的记录数；

上一次加载的记录总条数，用于表示上一次加载的记录总条数；

下一次筛选结果需要跳过的记录数，用于表示下一次需要在满足筛选条件的记录中跳过多少条，以避免在多条记录的排序字段取值相同时，重复加载已加载过的记录；

任务运行状态，用于表示任务的运行状态。

2.根据权利要求1所述的数据加载分发的方法，其特征在于：所述根据本次加载记录数确定数据加载分发的执行进度，完成最终的数据加载分发操作这一步骤，包括以下步骤：

当本次加载记录数等于单次最大加载数量时，等待加载时间间隔之后进行下一次加载；

当本次加载记录数小于单次最大加载数量时：

若任务采用单轮加载模式，则将保存任务状态更新为“已完成”，并结束任务；若任务采用持续增量加载模式，则等待轮次时间间隔之后，进行下一次加载；若任务采用循环加载模式，则重置任务状态并开始下一轮加载。

3.根据权利要求2所述的数据加载分发的方法，其特征在于：所述数据加载分发包括三种模式，具体包括：

单轮加载模式，用于根据指定的数据筛选范围进行一轮遍历，当遍历到没有更多数据时，则立即结束任务；

循环加载模式，用于根据指定的数据筛选范围进行遍历，当遍历到没有更多数据时，结束当前轮的遍历，重置遍历位点，进行新一轮的遍历，不断重复该过程；

持续增量加载模式，用于根据指定的数据范围进行遍历，当遍历到没有更多数据时，在不重置遍历位点的情况下，继续进行数据加载。

4.一种存储介质，其中存储有处理器可执行的指令，其特征在于：所述处理器可执行的指令在由处理器执行时用于执行如权利要求1-3中任一项所述的数据加载分发的方法。