[发明专利]批量数据处理的方法与装置

权利要求书

1.一种批量数据处理的方法，其特征在于，包括：

将待处理数据读入缓存，获取待处理数据的占用空间；

根据预设的单位权值和所述占用空间，计算所述待处理数据的预估权值；

根据所述预估权值，将所述待处理数据插入待处理数据序列；

将所述待处理数据序列中的待处理数据置入线程进行处理。

2.根据权利要求1所述的方法，其特征在于，所述线程处理待处理数据序列中的待处理数据的步骤之后还包括：

获取所述待处理数据的执行权值；

根据多个待处理数据的执行权值，对所述单位权值进行修正；

根据所述修正后的单位权值，计算后续的待处理数据的预估权值。

3.根据权利要求2所述的方法，其特征在于：

所述单位权值为处理单位占用空间的数据所需要的时间；所述预估权值为预估的待处理数据进行处理所需要的时间；所述执行权值为对所述待处理数据进行处理的实际时间。

4.根据权利要求1所述的方法，其特征在于，所述根据预估权值，将待处理数据插入待处理数据序列的步骤中，包括：

采取升序或者降序，按预估权值将待处理数据插入待处理数据序列。

5.根据权利要求1中任一项所述的方法，其特征在于，还包括：

预设最大缓存容量值；在所述最大缓存容量值的范围内，根据待处理数据的数量和占用空间，动态调整所述缓存的容量。

和/或预设最大线程数；在所述最大线程数的范围内，根据系统资源利用率，和/或数据库资源利用率，动态调整线程的数目。

6.根据权利要求1-5中任一项所述的方法，其特征在于，还包括：

预设线程提交数；当线程中已处理数据的数量达到预设提交数时，将已处理数据写入数据库或者文件系统，清空所述线程；

和/或当线程执行出现错误时，将已处理的数据回滚至未处理的状态。

7.根据权利要求1-5中任一项所述的方法，其特征在于，所述将待处理数据序列中的待处理数据置入线程进行处理的步骤具体包括：

当采用单线程处理方式时，将所述待处理数据序列中的待处理数据直接置入单线程进行处理；

当采用多线程处理方式时，将所述待处理数据序列中的待处理数据分配至各线程进行处理。

8.一种批量数据处理的装置，其特征在于，包括：

获取模块，用于将待处理数据读入缓存，获取待处理数据的占用空间；

预分配模块，用于根据预设的单位权值和所述占用空间，计算所述待处理数据的预估权值；

排序模块，用于根据所述预估权值，将所述待处理数据插入待处理数据序列；

分配模块，用于将所述待处理数据序列中的待处理数据置入线程进行处理。

9.根据权利要求8所述的装置，其特征在于，所述预分配模块包括：

单位权值调整子模块，用于获取所述待处理数据的执行权值；根据多个待处理数据的执行权值，对所述单位权值进行修正；

预估权值计算子模块，用于根据所述修正后的单位权值，计算后续的待处理数据的预估权值。

10.根据权利要求9所述的装置，其特征在于：所述单位权值为处理单位占用空间的数据所需要的时间；所述预估权值为预估的待处理数据进行处理所需要的时间；所述执行权值为对所述待处理数据进行处理的实际时间。

11.根据权利要求8所述的装置，其特征在于：所述排序模块根据系统资源利用率，采取升序或者降序，按预估权值将待处理数据插入待处理数据序列。

12.根据权利要求8-11中任一项所述的装置，其特征在于，还包括：

缓存调整模块，用于在预设的最大缓存容量值的范围内，根据待处理数据的数量和占用空间，动态调整所述缓存的容量。

和/或线程调整模块，用于在预设的最大线程数的范围内，根据系统资源利用率，和/或数据库资源利用率，动态调整线程的数目。

13.根据权利要求8-11中任一项所述的装置，其特征在于，还包括：

提交模块，用于当线程中已处理数据的数量达到预设的提交数时，将已处理数据写入数据库或者文件系统，清空所述线程；

回滚模块，用于当线程执行出现错误时，将已处理的数据回滚至未处理的状态。

14.根据权利要求8-11中任一项所述的装置，其特征在于：

当采用单线程处理方式时，所述分配模块将待处理数据序列中的待处理数据置入单线程进行处理；

当采用多线程处理方式时，所述将待处理数据序列中的待处理数据分配至各线程进行处理。