[发明专利]用于多线程的处理布置中的数据处理的方法和系统

权利要求书

1.一种用于多线程的处理布置中的数据处理的计算机实施的方法，所述方法包括：

接收要在包括嵌套的记录结构中的多个数据记录的数据文件上被运行的数据处理任务，所述数据文件和所述多个数据记录具有包括与所述多个数据记录的参数或属性有关的信息的相关联的记录描述，该记录描述定义记录布局；

基于所接收的数据处理任务，预处理所述数据文件以分析与所述数据文件和所述多个数据记录相关联的所述记录描述，以及以确定所述数据记录的属性；

基于对与所述数据文件关联的所述记录描述的分析以及对所确定的所述数据记录的属性的比较，将所述数据文件划分为多个数据集，其中所述多个数据记录中的一个或多个数据记录在所述多个数据集中不同的数据集中被分配；以及

基于所确定的多个数据集，将被划分的所述数据文件的所述数据集分配到处理线程以便通过所述多线程的处理布置来并行处理。

2.如权利要求1所述的方法，其中所述记录描述包括元数据。

3.如权利要求1所述的方法，其中所述记录描述包括与每个数据记录相关联的记录描述符，每个记录描述符包括与所述相关联的数据记录的参数或属性有关的信息。

4.如权利要求1所述的方法，其中所述数据记录的属性包括以下各项中的至少一个：相对处理复杂度的描述；或要求的处理资源的描述。

5.如权利要求1所述的方法，还包括：

接收代表可用的处理线程的数量的线程可用性信息，

并且其中以下各项中的至少一个基于所接收的线程可用性信息：将所述数据文件划分为多个数据集、和分配所述数据集。

6.如权利要求1所述的方法，还包括：

通过在所述多线程的处理布置的所述数据集的分配的处理线程中并行处理所述数据集来运行所述数据处理任务。

7.一种用于多线程的处理布置中的数据处理的计算机可读存储介质，所述可读存储介质具有利用其具体实现的程序指令，所述程序指令可通过处理单元被运行以使得所述处理单元执行包括以下各项的方法：

接收要在包括嵌套的记录结构中的多个数据记录的数据文件上被运行的数据处理任务，所述数据文件和所述多个数据记录具有包括与所述多个数据记录的参数或属性有关的信息的相关联的记录描述，该记录描述定义记录布局；

基于所接收的数据处理任务，预处理所述数据文件以分析与所述数据文件和所述多个数据记录相关联的所述记录描述，以及以确定所述数据记录的属性；

基于对与所述数据文件关联的所述记录描述的分析以及对所确定的所述数据记录的属性的比较，将所述数据文件划分为多个数据集，其中所述多个数据记录中的一个或多个数据记录在所述多个数据集中不同的数据集中被分配；以及

基于所确定的多个数据集，将被划分的所述数据文件的所述数据集分配到处理线程以便通过所述多线程的处理布置来并行处理。

8.如权利要求7所述的计算机可读存储介质，其中所述记录描述包括元数据。

9.如权利要求7所述的计算机可读存储介质，其中所述记录描述包括与每个数据记录相关联的记录描述符，每个记录描述符包括与所述相关联的数据记录的参数或属性有关的信息。

10.如权利要求7所述的计算机可读存储介质，其中所述数据记录的属性包括以下各项中的至少一个：相对处理复杂度的描述；或所要求的处理资源的描述。