[发明专利]批量数据处理方法、装置、计算机设备及存储介质

说明书

本发明公开了一种批量数据处理方法、装置、计算机设备及存储介质，该方法包括：从非实时任务队列中选取目标批量任务，基于目标批量任务创建数据处理队列；从目标空闲时间队列中确定目标空闲信息，获取待处理数据对应的待处理数据数量，基于待处理数据数量、目标空闲时长和预估线程数，获取目标数量，在数据处理队列中选取与目标数量相对应的待处理数据，确定为切分处理数据；在系统原始负载小于忙碌负载阈值时，获取目标处理线程，在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理，获取数据处理结果；基于数据处理结果，更新数据处理队列中每一切分处理数据的任务状态。该方法可以理分配系统资源，保障批量数据处理效率。

技术领域

本发明涉及大数据技术领域，尤其涉及一种批量数据处理方法、装置、计算机设备及存储介质。

背景技术

随着大数据技术的发展，众多领域都会使用大数据技术对相关数据进行处理。但随着业务的增长和时间积累，数据库中的数据量达到上亿级别，若直接对数据库中的数据进行批量处理时，对系统的资源占用过大，而影响数据处理效率。例如，在对数据库中的数据进行批量处理时，由于所需处理的数据较多，导致其所需的系统资源较多且处理时间较长；若数据批量处理过程分配的系统资源较多，会占用实时任务的系统资源，影响需实时响应的实时任务的响应速度，导致用户的等待时间较长；若数据批量处理过程中分配的系统资源较少，会影响非实时任务的数据处理进度，导致非实时任务对应的数据积压。

发明内容

本发明实施例提供一种批量数据处理方法、装置、计算机设备及存储介质，以解决数据批量处理过程中分配的系统资源不合理时存在的问题。

一种批量数据处理方法，包括：

从非实时任务队列中选取目标批量任务，基于所述目标批量任务创建数据处理队列，所述数据处理队列包括待处理数据和对应的任务状态；

从目标空闲时间队列中确定目标空闲信息，所述目标空闲信息包括起始时间、目标空闲时长和预估线程数；

获取所述待处理数据对应的待处理数据数量，基于所述待处理数据数量、所述目标空闲时长和所述预估线程数，获取目标数量，在所述数据处理队列中选取与所述目标数量相对应的待处理数据，确定为切分处理数据；

在系统当前时间为所述起始时间时，获取系统原始负载；

若所述系统原始负载小于忙碌负载阈值，则认定系统处于空闲状态，获取与所述预估线程数相对应的目标处理线程，在所述目标空闲时长内采用所述目标处理线程对所述切分处理数据进行数据处理，获取数据处理结果；

基于所述数据处理结果，更新所述数据处理队列中每一所述切分处理数据的任务状态。

一种批量数据处理装置，包括：

数据处理队列创建模块，用于从非实时任务队列中选取目标批量任务，基于目标批量任务创建数据处理队列，数据处理队列包括待处理数据和对应的任务状态；

目标空闲信息确定模块，用于从目标空闲时间队列中确定目标空闲信息，目标空闲信息包括起始时间、目标空闲时长和预估线程数；

切分处理数据确定模块，用于获取待处理数据对应的待处理数据数量，基于待处理数据数量、目标空闲时长和预估线程数，获取目标数量，在数据处理队列中选取与目标数量相对应的待处理数据，确定为切分处理数据；

系统原始负载获取模块，用于在系统当前时间为起始时间时，获取系统原始负载；

数据处理结果获取模块，用于若系统原始负载小于忙碌负载阈值，则认定系统处于空闲状态，获取与预估线程数相对应的目标处理线程，在目标空闲时长内采用目标处理线程对切分处理数据进行数据处理，获取数据处理结果；

任务状态更新模块，用于基于数据处理结果，更新数据处理队列中每一切分处理数据的任务状态。