[发明专利]神经网络模型算法编译方法、装置及相关产品

说明书

本公开涉及神经网络模型算法编译方法、装置及相关产品，所述方法包括：将神经网络模型算法的计算图中至少两个连续的神经网络加速器节点进行融合，得到第一融合点，将至少两个连续的中央处理器节点进行融合得到第二融合点，所述计算图包括多个节点，所述节点包括神经网络加速器节点和中央处理器节点；将除所述第一融合点和所述第二融合点外的节点、所述第一融合点和所述第二融合点分别进行编译，得到所述计算图的中间表达；根据所述计算图的中间表达得到所述神经网络模型算法的可执行文件。本公开实施例可以节省系统资源，缩短神经网络模型的运算时间，提高神经网络模型的计算效率。

技术领域

本公开涉及信息处理技术领域，尤其涉及一种神经网络模型算法编译方法、装置及相关产品。

背景技术

随着信息技术的不断发展，利用神经网络模型完成复杂任务的需求越来越大，神经网络模型算法复杂，计算效率低。

发明内容

有鉴于此，本公开提出了一种神经网络模型算法编译方法、装置及相关产品，用以提高神经网络模型的计算效率。

根据本公开的一方面，提供了一种神经网络模型算法编译方法，所述方法包括：

将神经网络模型算法的计算图中至少两个连续的神经网络加速器节点进行融合，得到第一融合点，将至少两个连续的中央处理器节点进行融合得到第二融合点，所述计算图包括多个节点，所述节点包括神经网络加速器节点和中央处理器节点；

将除所述第一融合点和所述第二融合点外的节点、所述第一融合点和所述第二融合点分别进行编译，得到所述计算图的中间表达；

根据所述计算图的中间表达得到所述神经网络模型算法的可执行文件。

在一种可能的实现方式中，将神经网络模型算法的计算图中至少两个连续的神经网络加速器节点进行融合，得到第一融合点，包括：

将神经网络模型算法的计算图中至少两个连续的神经网络加速器节点确定为待融合节点；

当至少两个连续的神经网络加速器节点中，除第一个待融合节点和最后一个待融合节点外的待融合节点的输入数据来自神经网络加速器节点时，将所述待融合节点进行融合得到第一融合点。

在一种可能的实现方式中，将神经网络模型算法的计算图中至少两个连续的神经网络加速器节点进行融合，得到第一融合点，包括：

将神经网络模型算法的计算图中至少两个连续的神经网络加速器节点确定为待融合节点；

当所述待融合节点的输出数据发送至至少两个中央处理器节点时，在输出数据发送至中央处理器节点的待融合节点之间添加依赖关系；

将所述待融合节点进行融合得到第一融合点。

在一种可能的实现方式中，所述方法还包括：

为所述第一融合点和/或所述第二融合点分配缓冲空间，当所述第一融合点和/或第二融合点完成运算时，不释放所述缓冲空间。

在一种可能的实现方式中，将神经网络模型算法的计算图中至少两个连续的神经网络加速器节点进行融合，得到第一融合点，包括将以下合并方式中的至少一种：

将神经网络模型算法的计算图中批量标准化加神经网络加速器节点、批量标准化开平方神经网络加速器节点、批量标准化乘神经网络加速器节点、批量标准化减神经网络加速器节点融合为融合批量标准化第一融合点；

将神经网络模型算法的计算图中二维卷积神经网络加速器节点和批量标准化神经网络加速器节点融合为融合卷积批量第一融合点，所述批量标准化神经网络加速器节点包括以下中的其中一种：批量标准化加神经网络加速器节点、批量标准化开平方神经网络加速器节点、批量标准化乘神经网络加速器节点、批量标准化减神经网络加速器节点；