[发明专利]调度参数的调整方法、设备及存储介质

说明书

本申请的实施例涉及计算机技术领域，提出了一种调度参数的调整方法、设备及存储介质。调度参数的调整方法，应用于主控设备，包括：搜索与目标设备匹配的算子调度模板；根据所述匹配的算子调度模板和调度参数搜索算法生成调度参数，并将所述调度参数发送给所述目标设备，供所述目标设备根据所述调度参数运行算子对应的调度过程；接收所述目标设备反馈的执行所述调度过程的性能数据，根据所述性能数据调整所述调度参数并发送给所述目标设备。在各种应用场景下，能够克服对人工的依赖，自动对任意目标设备的算子调度过程进行调度设计，得到最优的调度参数，且更加高效、快速。

技术领域

本申请的实施例涉及计算机技术领域，特别涉及一种调度参数的调整方法、设备及存储介质。

背景技术

随着近年来深度学习技术在计算机视觉、语音识别、自然语言处理等多个领域获得巨大成功，工业界也开始在各类型的硬件上，如中央处理器(central processing unit，CPU)、图形处理器(graphics processing unit，GPU)、智能芯片等，逐步部署深度学习模型推理相关的服务，其中，只有当硬件的计算资源和存储资源被合理、充分调度时，深度学习模型的推理时延、吞吐率等性能指标才能被更好地提升。

然而，目前对深度学习模型推理的调度优化主要是由人工完成，通常并不能实现最优调度，效率很低，无法快速、高效地进行资源合理调用。

发明内容

本申请实施例的主要目的在于提出一种调度参数的调整方法、设备及存储介质，旨在实现在各种应用场景下，能够克服对人工的依赖，自动对任意目标设备的算子调度过程进行调度设计，得到最优的调度参数，且更加高效、快速。

为至少实现上述目的，本申请实施例提供了一种调度参数的调整方法，应用于主控设备，包括：搜索与目标设备匹配的算子调度模板；根据所述匹配的算子调度模板和调度参数搜索算法生成调度参数，并将所述调度参数发送给所述目标设备，供所述目标设备根据所述调度参数运行算子对应的调度过程；接收所述目标设备反馈的执行所述调度过程的性能数据，根据所述性能数据调整所述调度参数并发送给所述目标设备。

为至少实现上述目的，本申请实施例还提出了一种调度参数的调整方法，应用于目标设备，包括：接收主控设备发送的调度参数；其中，所述调度参数根据与所述目标设备匹配的算子调度模板和调度参数搜索算法生成；根据所述调度参数运行算子对应的调度过程；向所述主控设备反馈执行所述调度过程的性能数据，供所述主控设备根据所述性能数据调整所述调度参数并发送给所述目标设备。

为至少实现上述目的，本申请实施例还提出了一种主控设备，包括：搜索模块，用于搜索与目标设备匹配的算子调度模板；调度参数生成模块，用于根据所述匹配的算子调度模板和调度参数搜索算法生成调度参数，并将所述调度参数发送给所述目标设备，供所述目标设备根据所述调度参数运行算子对应的调度过程；迭代模块，用于接收所述目标设备反馈的执行所述调度过程的性能数据，根据所述性能数据调整所述调度参数并发送给所述目标设备。

为至少实现上述目的，本申请实施例还提出了一种目标设备，包括：接收模块，用于接收主控设备发送的调度参数；其中，所述调度参数根据与所述目标设备匹配的算子调度模板和调度参数搜索算法生成；运行模块，用于根据所述调度参数运行算子对应的调度过程；反馈模块，用于向所述主控设备反馈执行所述调度过程的性能数据，供所述主控设备根据所述性能数据调整所述调度参数并发送给所述目标设备。

为至少实现上述目的，本申请实施例还提出了一种电子设备，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行如上任一项所述的调度参数的调整方法。

为至少实现上述目的，本申请实施例还提出了一种计算机可读存储介质，存储有计算机程序，所述计算机程序被处理器执行时实现如上任一项所述的调度参数的调整方法。