[发明专利]数据预处理性能的提升方法、装置、存储介质和设备

权利要求书

1.一种数据预处理性能的提升方法，其特征在于，包括：

基于预先获取得到的源数据文件，获得与各个源数据对象对应的作业；

对各个所述作业进行分组，得到多个作业组；

将各个所述作业组，分配给进程队列的各个元素；所述进程队列以预先配置的进程数量作为队列长度预先构建得到，且所述进程队列中各个所述元素，按照所述元素的作业量由少到多的顺序进行排序；所述元素的作业量代表所述元素所包含的作业数量；

启动与每个所述元素对应的进程，对每个所述元素所拥有的作业组进行数据预处理，得到各个所述作业的目标数据对象，以及每个所述作业组执行数据预处理的处理时间；

基于各个所述目标数据对象，获得多个目标数据文件；

将各个所述目标数据文件，以及每个所述作业组执行数据预处理的处理时间，保存到预设的预处理数据库中。

2.根据权利要求1所述的方法，其特征在于，所述基于预先获取得到的源数据文件，获得与各个源数据对象对应的作业，包括：

预先从业务系统中获取源数据文件，并对所述源数据文件进行读取，得到源数据；

将所述源数据的各个纪录进行内存对象映射，得到各个源数据对象；

创建与每个所述源数据对象对应的作业。

3.根据权利要求1所述的方法，其特征在于，所述对各个所述作业进行分组，得到多个作业组，包括：

对各个所述源数据对象进行关键字提取，得到每个所述源数据对象的关键字集合；所述关键字集合包括一个或多个关键字；

按照预设分组规则，对各个所述源数据对象进行分组，得到多个对象组；所述预设分组规则为：将包含有同一分组关键字的多个源数据对象，分配到同一对象组；

对于每个所述对象组，将与所述对象组中每个源数据对象对应的作业，分配到同一作业组，得到与每个所述对象组对应的作业组。

4.根据权利要求1所述的方法，其特征在于，所述将各个所述作业组，分配给进程队列的各个元素，包括：

对于每个所述作业组，在所述作业组为首次执行数据预处理的情况下，统计所述作业组所包含的作业数量，得到每个所述作业组的作业量；

按照作业量从多到少的顺序，对各个所述作业组进行排序，得到作业组序列；

为预先构建的进程队列中每个元素设置初始作业量；

按照预设作业量分配规则，依次将所述作业组序列中各个作业组的作业量，分配给所述进程队列的各个元素，以使所述进程队列中各个元素的序位发生调整；所述预设作业量分配规则为：按照序位由前到后的顺序，将所述作业组序列中各个作业组的作业量，逐次分配给所述进程队列，且在每次作业量分配过程中，将分配给所述进程队列的作业量，优先分配给头部元素，以使在各个所述作业组的作业量都分配结束后，各个所述元素的作业量之间的差值最小；所述头部元素包括序位为所述进程队列首位的元素；

将每个所述元素所获得作业量所属的作业组，分配给每个所述元素。

5.根据权利要求4所述的方法，其特征在于，所述按照作业量从多到少的顺序，对各个所述作业组进行排序，得到作业组序列之前，还包括：

在所述作业组并非首次执行数据预处理的情况下，从预设的预处理数据库中获取所述作业组上一次执行数据预处理的处理时间，并将所述处理时间标识为所述作业组的作业量。

6.根据权利要求1所述的方法，其特征在于，所述启动与每个所述元素对应的进程，对每个所述元素所拥有的作业组进行数据预处理，得到各个所述作业的目标数据对象，以及每个所述作业组执行数据预处理的处理时间，包括：

按照预设线程启动规则，启动与每个所述元素对应的进程中的多个线程，对每个所述元素所获得的作业组进行数据预处理，得到各个所述作业的目标数据对象，以及每个所述作业组执行数据预处理的处理时间；所述预设线程启动规则为：作业量较多的作业组的线程启动时间，早于作业量较少的作业组的线程启动时间；作业组的作业量代表作业组所包含的作业数量。