[发明专利]一种基于分布式异构系统的任务智能处理方法

说明书

本公开的实施例公开了一种基于分布式异构系统的任务智能处理方法。该方法的一具体实施方式包括：控制任务交接端进行数据处理任务交接处理，得到数据处理任务集合；将数据处理任务集合输入至预先训练的优先级确定模型，得到优先级集合；获取线程池中的每个线程的初始负载信息和状态信息，得到初始负载信息集合和状态信息集合；根据初始负载信息集合、状态信息集合和优先级集合，将数据处理任务集合中的每个数据处理任务分配给线程池中的线程，其中，线程池中的每个线程分配一个数据处理任务；控制线程池中已分配数据处理任务的线程启动，以及执行所分配的数据处理任务。该实施方式可以实现线程负载均衡，并且可以提高多个线程的并行效率。

技术领域

本公开的实施例涉及任务智能处理技术领域，具体涉及一种基于分布式异构系统的任务智能处理方法。

背景技术

分布式异构系统的任务处理问题，对发挥系统的并行性能和保持负载平衡具有非常重要的意义。现有的任务处理方法通常是将任务直接或者随机分配给线程，线程执行所分配的任务。

然而，当采用上述方式时，经常会存在如下技术问题：

第一，直接将任务分配给指定的线程，未考虑到线程的负载和运行状态，导致线程的负载不均衡，多个线程的并行效率较低；

第二，未对数据处理任务进行等级划分，直接将任务分配给指定的线程，从而，造成等级较低的任务先执行，而等级较高的任务后执行，对数据处理任务的执行顺序造成影响。

第三，当数据处理任务的数量与可执行任务的线程的数量一致时，直接或者随机将数据处理任务分配给各个线程，导致负载较高的线程执行数据处理量较大的任务的情况的频繁出现，从而，造成线程堵塞情况出现的频率较高；

第四，当数据处理任务的数量大于可执行任务的线程的数量时，直接或者随机将数据处理任务分配给各个线程，未考虑到新建线程的方式，导致任务处理的效率较低；

第五，当数据处理任务的数量大于可执行任务的线程的数量时，直接或者随机将数据处理任务分配给各个线程，造成一些数据处理任务的等待时间较长。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了基于分布式异构系统的任务处理方法、装置、设备和介质，来解决以上背景技术部分提到的技术问题中的一项或多项。

第一方面，本公开的一些实施例提供了一种基于分布式异构系统的任务智能处理方法，上述分布式异构系统包括任务交接端、预先训练的优先级确定模型和线程池，其中，上述线程池中包括预定数目个线程，上述方法包括：控制上述任务交接端进行数据处理任务交接处理，得到数据处理任务集合；将上述数据处理任务集合输入至上述预先训练的优先级确定模型，得到优先级集合；获取上述线程池中的每个线程的初始负载信息和状态信息，得到初始负载信息集合和状态信息集合；根据上述初始负载信息集合、上述状态信息集合和上述优先级集合，将上述数据处理任务集合中的每个数据处理任务分配给上述线程池中的线程，其中，上述线程池中的每个线程分配一个数据处理任务；控制上述线程池中已分配数据处理任务的线程启动，以及执行所分配的数据处理任务。