[发明专利]用于处理批量数据的方法及装置

说明书

本公开涉及用于处理批量数据的方法及装置。包括：针对待处理的批量数据，创建至少两个线程；将所述批量数据中的待处理数据分配给所述至少两个线程；为所述至少两个线程中的各个线程生成线程延时；以及基于各个线程的线程延时，启动各个线程的数据处理操作，以对分配至该线程的待处理数据进行处理。

技术领域

本公开涉及计算机技术领域，具体地，涉及用于处理批量数据的方法及装置。

背景技术

信息系统在进行批量数据处理时，通常由调度系统基于调度周期统一触发。现有技术中为了保障批量数据处理的效率，通常采用并发调度处理的方式，即一次性启动所有线程。采用这种方式时，数据的核心处理瞬间并发执行，因而会形成服调用尖刺，即所有线程快速集中地占用软硬件资源，在处理完毕后服务调用量归零，所占用的资源被释放。这种调度方式本质上因不合理的调度模式人为地制造了服务调用和资源需求峰值，不利于系统资源的有效利用和处理效率的提高。

发明内容

鉴于上述，本公开提供了一种用于处理批量数据的方法及装置，该方法和装置通过为各个线程设置线程延时，并基于线程延时启动各个线程的数据处理操作，从而能够将各个线程所占用的资源分散到调度周期内的各个时段，进而避免资源占用量出现瞬间峰值。

根据本公开的一个方面，提供了一种用于处理批量数据的方法，包括：针对待处理的批量数据，创建至少两个线程；将所述批量数据中的待处理数据分配给所述至少两个线程；为所述至少两个线程中的各个线程生成线程延时；以及基于各个线程的线程延时，启动各个线程的数据处理操作，以对分配至该线程的待处理数据进行处理。

可选地，在一个示例中，为所述至少两个线程中的各个线程生成线程延时可以包括：针对所述至少两个线程中的各个线程，在规定时间窗口内随机生成该线程的线程延时。

可选地，在一个示例中，所述规定时间窗口可以是基于所述批量数据的调度周期以及所述批量数据的数据加载时间和针对分配给该线程的待处理数据的数据处理时间确定的。

可选地，在一个示例中，为所述至少两个线程中的各个线程生成线程延时可以包括：针对所述至少两个线程中的各个线程，基于所述批量数据的调度周期以及所述批量数据的数据加载时间和针对分配给该线程的待处理数据的数据处理时间，生成该线程的线程延时，并且所生成的各个线程的线程延时互不相同。

可选地，在一个示例中，基于各个线程的线程延时，启动各个线程的数据处理可以包括：针对各个线程，在该线程被创建时启动该线程的线程延时计时；在该线程的线程延时期满时，调度该线程，以使该线程执行数据处理操作。

可选地，在一个示例中，基于各个线程的线程延时，启动各个线程的数据处理可以包括：针对各个线程，调度该线程并使该线程进入睡眠状态；在该线程进入睡眠状态时，启动该线程的线程延时计时；以及在该线程的线程延时期满时，唤醒该线程，以使得该线程执行数据处理操作。

根据本公开的另一方面，还提供一种用于处理批量数据的装置，包括：线程创建单元，被配置为针对待处理的批量数据，创建至少两个线程；数据分配单元，被配置为将所述批量数据中的待处理数据分配给所述至少两个线程；线程延时生成单元，被配置为为所述至少两个线程中的各个线程生成线程延时；以及数据处理启动单元，被配置为基于各个线程的线程延时，启动各个线程的数据处理操作，以对分配至该线程的待处理数据进行处理。

可选地，在一个示例中，所述线程延时生成单元可以被配置为：针对所述至少两个线程中的各个线程，在规定时间窗口内随机生成该线程的线程延时。

可选地，在一个示例中，所述规定时间窗口可以是基于所述批量数据的调度周期以及所述批量数据的数据加载时间和针对分配给该线程的待处理数据的数据处理时间确定的。