[发明专利]用于多线程的处理布置中的数据处理的方法和系统

说明书

提供了用于多线程的处理布置中的数据处理的方法。该方法包括：接收要在包括多个数据记录的数据上运行的数据处理任务，该数据具有包括与多个数据记录的参数或属性有关的信息的相关的记录描述。基于所接收的数据处理任务，分析记录描述以确定对于数据记录的预期的工作负载的指示。另外，数据被划分为多个数据集。基于所确定的对于数据记录的预期的工作负载的指示，数据集被分配到处理线程以便通过多线程的处理布置来并行处理。

技术领域

本发明涉及数据处理的领域，并且更具体的，涉及用于多线程的处理布置(arrangement)中的数据处理的方法、计算机程序产品和系统。

背景技术

如今，数据处理布置(软件和/或硬件)典型地具有处理来自各种不同的来源的大量数据的固有要求。作为示例，文件或数据库可以包含许多万亿字节(TeraBytes，TB)的数据，并非所有的这些数据都可以与任何一定的数据处理任务相关。

使得并行处理能够被实施的多线程的处理布置已经被提出。并行地(例如，使用多个处理器线程)处理数据可以通过跨处理引擎来分布与任务相关联的工作负载，使得执行数据处理任务所要求的时间能够减少。

然而，仍然有如何跨若干分离的线程/进程来分布处理工作负载的问题。例如，可能期望使得处理工作负载能够被均匀地分布的方案，但是，例如就性能而言，这样的分布可能不是最优的。并且，在减少与跨多个处理引擎的处理工作负载分解和分布相关联的开销、与提高用于改进的负载均衡的潜在的并行度和处理引擎的利用率的期望之间可能存在冲突。

发明内容

本发明提供了用于数据处理的方法，该方法能够跨多线程的处理环境的若干分离的处理线程来分布处理工作负载，以便提供改进的处理性能(例如，更快地完成处理任务)。

本发明还提供了计算机程序产品，该计算机程序产品包括当在数据处理系统的处理器上运行时用于实施该方法的计算机程序代码。

本发明还提供了适配于运行该计算机程序代码的数据处理系统。

根据本发明的实施例，提供了用于多线程的处理布置中的数据处理的计算机实施的方法。该方法包括：接收要在包括多个数据记录的数据上运行的数据处理任务，该数据具有包括与多个数据记录的参数或属性有关的信息的相关联的记录描述；基于所接收的数据处理任务，分析该记录描述以确定对于数据记录的预期的工作负载的指示；将该数据划分为多个数据集；以及基于所确定的对于数据记录的预期工作负载的指示，将数据集分配到处理线程以便通过多线程的处理布置来并行处理。

在一个或多个方面，鉴于请求的或计划的处理任务被提供用于分析数据的进程访问数据的特性如何，可能影响处理任务的运行。通过数据特性的评估，数据可以被分割为部分(例如，数据的虚拟段可以使用地址范围来被定义)，并且然后所述部分被分配到分离的处理线程。例如，在数据中的记录的一个或多个描述的评估可以识别数据的某些记录和/或部分是否要求额外的或减少的处理资源。这可以使得数据的部分能够被定义和分配到处理线程，以便改进处理任务的运行(例如，通过减少其完成任务的运行所花费的时间量)。因此，提出的实施例可以通过以更高效的方式分配处理工作负载来最小化处理要求。特别地，其可以通过以有效且高效的方式分配处理线程，来帮助避免处理线程冗余和/或帮助加速任务完成。

作为潜在的优点的示范，当处理任务要求要在大数据文件上运行的处理操作时，为了改进的处理效率，这里公开的处理可以承担数据文件的分析并识别数据的部分或子集应该如何被定义和分配到各种处理线程。因此，在这样的环境中，数据文件的某些段可以被定义和分配到单个处理线程/引擎以保证适当的或充足的处理资源被分配到数据的特定部分或子集。这可以帮助保证可用处理资源的有效和高效利用。