[发明专利]用于在分布式环境中执行任务的方法、装置及系统

说明书

本申请公开了一种用于在分布式环境中执行任务的方法及装置、以及一种分布式任务执行系统。其中所述用于在分布式环境中执行任务的方法包括：接收根据当前系统配置执行数据处理任务的通知消息；获取当前系统配置信息，所述系统配置信息包括：数据处理设备和待处理数据单元的相关信息、以及任务分配算法；根据所述数据处理设备和待处理数据单元的相关信息，采用所述任务分配算法确定本数据处理设备负责处理的待处理数据单元；针对所述待处理数据单元，按照预先设定的方式执行数据处理任务。采用本申请提供的方法，可以避免人工配置导致的效率低下、容易出错等弊端；特别是在系统配置发生变更时，无须人工介入就能快速地进行数据处理任务的重新划分。

技术领域

本申请涉及分布式数据处理领域，具体涉及一种用于在分布式环境中执行任务的方法。本申请同时提供一种用于在分布式环境中执行任务的装置、以及一种分布式任务执行系统。

背景技术

对于一些简单的涉及数据处理的应用，通常采用一台数据处理设备(通常是计算机)和一台数据存储设备(通常是数据库设备)就能够满足数据存储和应用的需求。但是随着计算机和网络技术的发展，各种应用越来越多，出现了很多大型的应用系统，一方面数据处理任务越来越复杂，计算工作量越来越大，一台计算机的资源(内存，CPU，网络)通常无法支撑其运行；另一方面，数据量的急剧增长也使得仅采用一台数据库设备无法满足数据存储和访问的需求。

在单机单库的系统架构已经无法满足需求的情况下，出现了基于分布式技术的多机多库架构：在数据处理层面由计算集群中的多台计算机负责执行数据处理任务，而数据存储则采用分库分表技术，将业务数据垂直分配到数据库集群的多台数据库上，也就是说，每台计算机只负责处理某一台或者几台数据库中的数据，由计算集群中的所有计算机共同协作完成整个数据处理任务。显然，采用最初的单机单库架构，不存在任务分配和调节的需求，然而发展到多机多库的架构方式，就必须要考虑如何为每台计算机分配数据处理任务。

现有的解决方案，通常采用固定配置的方式，即：由管理人员根据系统中每台计算机的硬件配置、数量以及存储待处理数据的数据库设备的数量等信息，采用特定的算法计算每台计算机负责处理哪些数据库数据，并将计算结果写入每台计算机的配置文件中，每台计算机在启动的时候读取所述配置文件，从而获知自己负责处理的数据，并进行相应的处理。

采用上述方式，在系统规模比较小、比较稳定的情况下可以满足应用需求，但是随着系统规模的扩展，计算集群中的计算机数量越来越多、数据库集群中的数据库设备也越来越多，采用上述配置方式的弊端日益明显：

(一)由于需要管理员在系统启动之前对每一台计算机逐一进行配置，过程繁琐、效率低，而且容易出错，可能出现某些数据被重复处理、而某些数据因为被遗漏而得不到处理的情况。

(二)特别是，当系统配置发生变化时，例如：为了提升系统能力进行扩容导致计算集群或者数据库集群中的设备数量增加，或者某台设备发生故障无法正常工作或者数据库设备发生了主备切换的情况，现有解决方案仍然只能依靠人工干预的方式，由管理员根据当前系统的最新状况，重新进行计算并根据计算结果更新每台计算机的配置文件，然后触发每台计算机重新启动并执行新的数据处理任务。由于需要人工介入，整个处理过程繁琐、效率也比较低、而且从系统配置发生变化到数据处理设备执行新的数据处理任务之间，通常存在比较长的滞后时间，可能会影响业务数据的正确处理。

发明内容

本申请提供一种用于在分布式环境中执行任务的方法，以解决现有技术通过人工方式为数据处理设备分配任务导致配置过程繁琐、效率低、以及对系统配置变化反应滞后的问题。本申请另外提供一种用于在分布式环境中执行任务的装置，以及一种分布式任务执行系统。

本申请提供一种用于在分布式环境中执行任务的方法，所述方法在执行数据处理任务的设备上实施，包括：

接收根据当前系统配置执行数据处理任务的通知消息；