[发明专利]数据处理方法、装置、电子设备及计算机可读介质

说明书

本公开涉及一种分布式系统的任务处理方法、装置、电子设备及计算机可读介质。所述分布式系统包括多个分布式处理单元，其特征在于，包括：分布式处理系统将任务请求分配给对应的分布式处理单元进行处理；在分布式处理单元处理异常时，获取所述分布式处理单元的补偿数据；基于所述补偿数据通过异步调用的方式对所述分布式处理单元进行补偿处理，并获取处理结果；以及分布式处理系统根据所述处理结果继续执行所述任务请求。本公开涉及的分布式系统的任务处理方法、装置、电子设备及计算机可读介质，能够提高分布式系统中，批处理程序的执行效率，提高整个分布式系统的处理效率。

技术领域

本公开涉及计算机信息处理领域，具体而言，涉及一种分布式系统的任务处理方法、装置、电子设备及计算机可读介质。

背景技术

分布式系统(distributed system)是建立在网络之上的软件系统。分布式操作系统是以全局方式管理系统资源的，它可以为用户任意调度网络资源，并且调度过程是“透明”的。当用户提交一个作业时，分布式操作系统能够根据需要在系统中选择最合适的处理器，将用户的作业提交到该处理程序，在处理器完成作业后，将结果传给用户。在这个过程中，用户并不会意识到有多个处理器的存在，这个系统就像是一个处理器一样。

用户可以通过分布式系统，将一个复杂的任务拆解为多个子任务分别执行。传统单机应用一般都会使用一个关系型数据库，好处是应用调用的数据可以一直保持一致性。在单机应用中为保证一致性只需要：开始一个事务，改变(插入，删除，更新)很多行，然后提交事务(如果有异常时回滚事务)。更进一步，借助开发平台中的数据访问技术和框架，我们需要做的事情更少，只需要关注数据本身的改变。分布式业务由于涉及不同的子任务分别处理数据，单机应用和数据库已经不足以支持庞大的业务量和数据量，这个时候需要对应用和数据库进行拆分，就出现了一个应用需要同时访问两个或两个以上的数据库情况。当多个子任务重的某一个子任务出现事务故障时，整个分布式系统如何处理，才能保证在分布式系统中的数据一致性是目前急需解决的问题。

因此，需要一种新的分布式系统的任务处理方法、装置、电子设备及计算机可读介质。

在所述背景技术部分公开的上述信息仅用于加强对本公开的背景的理解，因此它可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

有鉴于此，本公开提供一种分布式系统的任务处理方法、装置、电子设备及计算机可读介质，能够提高分布式系统中，批处理程序的执行效率，提高整个分布式系统的处理效率。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开的一方面，提出一种分布式系统的任务处理方法，所述分布式系统包括多个分布式处理单元，该方法包括：分布式处理系统将任务请求分配给对应的分布式处理单元进行处理；在分布式处理单元处理异常时，获取所述分布式处理单元的补偿数据；基于所述补偿数据通过异步调用的方式对所述分布式处理单元进行补偿处理，并获取处理结果；以及分布式处理系统根据所述处理结果继续执行所述任务请求。

在本公开的一种示例性实施例中，在分布式处理单元处理异常时，获取所述分布式处理单元的补偿数据包括：

在分布式处理单元中执行方法函数异常时，根据方法名称与补偿表获取所述分布式处理单元的所述补偿数据。

在本公开的一种示例性实施例中，根据方法名称与补偿表获取所述分布式处理单元的所述补偿数据包括：通过批处理方式轮询所述补偿表，以根据方法名称与补偿表获取所述补偿数据。

在本公开的一种示例性实施例中，基于所述补偿数据通过异步调用的方式对所述分布式处理单元进行补偿处理包括：通过配置文件获取异常的方法名称；将所述方法名称与所述补偿数据进行封装，生成封装数据；以及基于所述封装数据通过异步调用的方式对所述分布式处理单元进行补偿处理。