[发明专利]一种任务负载调度方法、装置、设备及可读存储介质

说明书

本发明公开了一种任务负载调度方法，该方法包括以下步骤：对接收到的任务负载调度请求进行解析，得到待调度的目标任务；将目标任务发送到混合异构分布式计算系统中；其中，混合异构分布式计算系统包括多个不同计算架构的计算设备；利用混合异构分布式计算系统根据预建立的设备拓扑结构图对目标任务进行负载调度处理。应用本发明实施例所提供的技术方案，满足了多模态人工智能算法模型的计算要求，实现了不同计算架构的计算设备间的高效计算协同，提升了混合异构分布式计算系统的整体性能。本发明还公开了一种任务负载调度装置、设备及存储介质，具有相应技术效果。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种任务负载调度方法、装置、设备及计算机可读存储介质。

背景技术

随着人工智能技术的不断发展，人工智能(AI，Artificial Intelligence)算法模型对算力的需求持续增长，并且伴随着多模态人工智能的发展，人工智能算法模型训练任务的计算特性差异化也在不断扩大，例如，卷积神经网络(CNN，Convolutional NeuralNetwork)模型包含大量的矩阵运算，适合于GPU设备进行异构加速；图神经模型包含了大量非规则性计算，更加适用于定制化处理器，包括FPGA或ASIC芯片；而同时包含视觉和语言处理的多模态人工智能则同时需要矩阵运算加速和时序空间上的异构加速，同时需要两种处理器架构进行协同加速。

现有人工智能计算系统中，由于人工智能计算框架的限制，在进行人工智能算法模型训练任务时，往往只能同时采用同一种架构的处理器进行人工智能算法模型的分布式训练，例如大规模GPU板卡组成的分布式系统，大量CPU组成的分布式系统，或者大量定制化AI芯片组成的分布式系统。单一计算架构的分布式计算系统可以高效处理现有的深度学习网络模型训练任务，但是随着多模态人工智能的发展，在同一个人工智能算法网络模型结构中，既包含大量类似于矩阵运算的规则化数据处理过程，又包含大量复杂维度的非规则化数据处理过程，同时还需要进行复杂的计算任务调度，单一计算架构处理器组成的分布式系统无法满足多模态人工智能算法模型的计算要求。

因此需要构建同时包含多种计算架构的混合异构分布式计算系统，但是现有的人工智能计算框架只把人工智能算法网络模型抽象成计算任务图，在任务负载调度时将各子任务分配给不同的处理器进行处理，通过任务分配的方式进行负载调度不能充分利用处理器的计算资源，造成计算资源浪费，任务处理效率低。

综上所述，如何有效地解决单一计算架构处理器组成的分布式系统无法满足多模态人工智能算法模型的计算要求，通过任务分配的方式进行负载调度造成计算资源浪费，任务处理效率低等问题，是目前本领域技术人员急需解决的问题。

发明内容

本发明的目的是提供一种任务负载调度方法，该方法满足了多模态人工智能算法模型的计算要求，实现了不同计算架构的计算设备间的高效计算协同，提升了混合异构分布式计算系统的整体性能；本发明的另一目的是提供一种任务负载调度装置、设备及计算机可读存储介质。

为解决上述技术问题，本发明提供如下技术方案：

一种任务负载调度方法，包括：

对接收到的任务负载调度请求进行解析，得到待调度的目标任务；

将所述目标任务发送到混合异构分布式计算系统中；其中，所述混合异构分布式计算系统包括多个不同计算架构的计算设备；

利用所述混合异构分布式计算系统根据预建立的设备拓扑结构图对所述目标任务进行负载调度处理。

在本发明的一种具体实施方式中，所述设备拓扑结构图的建立过程包括：

遍历所述混合异构分布式计算系统中各计算节点，得到由各所述计算节点中各所述计算设备构成的设备集合；

对所述设备集合中的各所述计算设备进行编号操作，得到各所述计算设备分别对应的设备编号信息；