[发明专利]神经网络模型拆分方法、装置、存储介质和计算机系统

说明书

本申请涉及一种神经网络模型拆分方法、装置、计算机设备、存储介质和计算机系统，通过基于注意力机制的循环神经网络，得到目标拆分策略，根据所述目标拆分策略得到具体的目标拆分方案。该方法可以使神经网络在处理任意批量大小的输入张量数据时，都可以把计算负载合理地分配到加速器的多个核上，有效较低神经网络处理数据的时延，并且这种方法只需要单个核上的高性能神经网络计算库，而非更加复杂的执行在多个核上的神经网络计算库。

技术领域

本申请涉及人工智能技术领域，特别是涉及一种神经网络模型拆分方法、装置、计算机设备、存储介质和计算机系统。

背景技术

近年来，深度学习加速器被不断提出，并如同通用处理器一样，正在由单核向多核扩展。这种扩展后的多核结构可以在训练阶段支持数据并行的方式来提高数据吞吐量，加快训练速度。然而，在推理阶段，相比吞吐量深度神经网络对端到端的时延有着更高的要求，这往往决定了加速器在某个场景下的可用性。传统的数据并行方案不能满足推理场景下对加速器小数据、低延迟的要求。

发明内容

基于此，有必要针对上述技术问题，提供一种能够高效的一种神经网络模型拆分方法、装置、计算机设备、存储介质和计算机系统。

一种神经网络模型拆分方法，所述方法包括：

将神经网络模型中的张量数据以及所述张量数据的关联信息输入循环神经网络模型；

迭代执行利用所述循环神经网络模型得到当前拆分策略，并根据所述当前拆分策略更新所述循环神经网络模型的参数的步骤，直至所述循环神经网络模型的神经网络收敛；

之后，所述循环神经网络模型输出目标拆分策略；

根据所述目标拆分策略得到目标拆分方案，按照所述目标拆分方案，对所述神经网络模型进行拆分。

作为一种可选地实施方式，根据所述当前拆分策略更新所述循环神经网络模型的参数，包括：根据所述当前拆分策略中各张量数据的不同拆分状态的概率分布，对所述神经网络中的张量数据的不同拆分状态的概率分布进行n次采样，得到n个拆分方案；其中，n为正整数；计算所述n个拆分方案中每一拆分方案的执行时间；根据所述每一拆分方案的执行时间，更新所述循环神经网络模型的参数。

作为一种可选地实施方式，根据所述拆分方案中的所有张量数据的拆分状态，计算所述拆分方案的执行时间，包括：根据所述拆分方案中的所有张量数据关联的算子的类型和规模，确定各个张量数据的对应的算子的计算负载和访存数据量；根据所述计算负载、所述访存数据量、所述算子的执行处理器的访存带宽、所述算子的执行处理器的计算吞吐速率，计算所述拆分方案的执行时间。

作为一种可选地实施方式，按照所述目标拆分方案，对所述神经网络模型进行拆分，包括：根据目标拆分方案中每一张量数据的拆分维度和拆分数量，对所述每一张量数据进行分割，得到子张量数据。

作为一种可选地实施方式，所述根据每一张量数据的拆分维度和拆分数量，对所述每一张量数据进行分割，包括：根据每一张量数据的每个维度上的拆分段数确定对应的拆分维度上的拆分起点和拆分终点；根据所述拆分起点和所述拆分终点，对所述每一张量数据进行分割。

作为一种可选地实施方式，所述拆分维度包括批量大小、特征图像的个数、特征图像的高度、特征图像的宽度中的一个或多个。

作为一种可选地实施方式，在所述将神经网络模型中的张量数据以及所述张量数据的关联信息输入循环神经网络模型，之前所述方法还包括：在待处理的神经网络模型中的每个算子和所述算子的输入张量数据之间插入胶水算子，得到神经网络模型；其中，所述胶水算子用于对所述算子的输入张量数据的拆分状态进行调整。