[发明专利]深度学习模型的硬件调度执行方法、装置、设备及介质

说明书

本发明实施例公开了一种深度学习模型的硬件调度执行方法、装置、设备及介质。该方法包括：获取目标深度学习模型计算图；将计算图与预设功能子图库中各待匹配功能子图进行模糊匹配；并在计算图中确定与各待匹配功能子图匹配的计算子图，及对应的模糊匹配度；根据模糊匹配度，确定各待匹配功能子图中与目标计算子图匹配成功的目标功能子图；并根据目标功能子图确定与目标计算子图对应的内核融合子图；根据内核融合子图对深度学习模型中的目标计算子图进行芯片多层内存结构的硬件调度执行。该方法可以实现深度学习模型的快速模型分析，从而根据匹配得到的功能子图进行模型硬件加速，并在芯片上对深度学习模型进行推理加速。

技术领域

本发明涉及人工智能技术领域，尤其涉及一种深度学习模型的硬件调度执行方法、装置、设备及介质。

背景技术

随着人工智能领域的快速演进和发展，深度学习模型的种类越来越多。例如，用于图像分类识别、自动语音识别、语言理解等的深度学习模型。深度模型虽然很多，但深度模型的构建是有内在规律的，比如多数模型可以通过一些基本模块进行变形搭建出来。例如，通过堆叠不同数量的残差结构可以构成了Resnet18、Resnet34、Resnet50、Resnet101、Resnet152等残差网络。这些基本模块被转成由算子组成的有向无环的计算图，然后再由下层框架对计算图进行优化和调度执行计算图中算子对应的内核函数，从而完成一个模块的执行。

由于深度学习模型的基本模块有很多变形，从而对应的计算子图也有很多变形，导致下层框架较难从计算图上确定深度模型所包含的基本模块。目前，深度学习模型计算图的结构分析主要是依靠算法工程师进行人工分析。但不同领域中深度学习模型的基本模型结构是不同的，分析过程中需要算法工程师熟悉不同领域中的大量基本模型结构，对算法工程师的背景知识要求较高，而且人工分析的执行效率低，容易出错或是遗漏，不易推广。

因此，对深度学习模型的计算图进行结构分析，确定深度学习模型计算图所对应的基本模型，从而根据该基本模型在芯片上实现深度学习模型的推理加速，对深度学习模型的发展以及芯片资源的合理利用是具有重要意义的。

发明内容

本发明提供了一种深度学习模型的硬件调度执行方法、装置、设备及介质，以对深度学习模型的快速模型分析，在芯片上对深度学习模型进行推理加速。

根据本发明的一方面，提供了一种深度学习模型的硬件调度执行方法，该方法包括：

获取目标深度学习模型计算图；

将所述计算图与预设功能子图库中各待匹配功能子图进行模糊匹配；并在所述计算图中确定与各所述待匹配功能子图匹配的计算子图，及对应的模糊匹配度；

根据所述模糊匹配度，确定各所述待匹配功能子图中与目标计算子图匹配成功的目标功能子图；并根据所述目标功能子图确定与所述目标计算子图对应的内核融合子图；

根据所述内核融合子图对所述深度学习模型中的目标计算子图进行芯片多层内存结构的硬件调度执行。

根据本发明的另一方面，提供了一种深度学习模型的硬件调度执行装置，该装置包括：

计算图获取模块，用于获取目标深度学习模型计算图；

模糊匹配模块，用于将所述计算图与预设功能子图库中各待匹配功能子图进行模糊匹配；并在所述计算图中确定与各所述待匹配功能子图匹配的计算子图，及对应的模糊匹配度；

内核融合子图确定模块，用于根据所述模糊匹配度，确定各所述待匹配功能子图中与目标计算子图匹配成功的目标功能子图；并根据所述目标功能子图确定与所述目标计算子图对应的内核融合子图；

硬件调度执行模块，用于根据所述内核融合子图对所述深度学习模型中的目标计算子图进行芯片多层内存结构的硬件调度执行。

根据本发明的另一方面，提供了一种电子设备，所述电子设备包括：