[发明专利]深度学习算法的编译方法、装置及相关产品

说明书

本公开涉及深度学习算法的编译方法、装置及相关产品，所述产品包括控制器单元，所述控制器单元包括：指令缓存单元、指令处理单元和存储队列单元；所述指令缓存单元，用于存储所述人工神经网络运算关联的计算指令；所述指令处理单元，用于对所述计算指令解析得到多个运算指令；所述存储队列单元，用于存储指令队列，该指令队列包括：按该队列的前后顺序待执行的多个运算指令或计算指令。通过以上方法，本公开可以提高相关产品在进行神经网络模型的运算时的运算效率。

技术领域

本公开涉及深度学习领域，尤其涉及一种深度学习算法的编译方法、装置及相关产品。

背景技术

在人工智能技术领域，神经网络算法是最近非常流行的一种机器学习算法，在各种领域中都取得了非常好的效果，比如图像识别，语音识别，自然语言处理等。随着神经网络算法的发展，算法的复杂度也越来越高，为了提高识别度，模型的规模也在逐渐增大。

发明内容

有鉴于此，本公开提出了一种深度学习算法的编译方法、装置及相关产品，能够提升深度学习算法针对相应硬件平台的性能优化效果。

根据本公开的第一方面，提供了一种深度学习算法的编译方法，所述方法包括：根据深度学习算法的原始计算图和原始模型数据，进行面向所述深度学习算法的协同处理，得到第一计算图和第一模型数据；根据所述第一计算图，生成硬件指令和数据描述符；根据所述数据描述符，对所述第一模型数据进行面向硬件平台的处理，得到第二模型数据；根据所述硬件指令和所述第二模型数据，得到所述深度学习算法的可执行文件。

在一种可能的实现方式中，根据深度学习算法的原始计算图和原始模型数据，进行面向所述深度学习算法的协同处理，得到第一计算图和第一模型数据，包括：读取所述原始计算图和所述原始模型数据；识别所述原始计算图内的连续线性变换操作节点；通过线性变换和常量折叠，对所述连续线性变换操作节点进行处理，得到第一计算图和第一模型数据。

在一种可能的实现方式中，所述连续线性变换操作节点包括：至少2个连续的线性变换操作节点。

在一种可能的实现方式中，通过线性变换和常量折叠，对所述连续线性变换操作节点进行处理，得到第一计算图和第一模型数据，包括：将所述原始计算图内的连续线性变换操作节点进行线性变换和常量折叠，将所述连续线性变换操作节点合并，得到第一计算图；将所述连续线性变换操作节点对应的模型数据合并，得到第一模型数据。

在一种可能的实现方式中，根据所述第一计算图，生成硬件指令和数据描述符，包括：根据代价模型对所述第一计算图进行处理，结合启发式搜索策略，得到硬件指令和数据描述符。

在一种可能的实现方式中，根据代价模型对所述第一计算图进行处理，结合启发式搜索策略，得到硬件指令和数据描述符，包括：通过代价模型对所述第一计算图进行建模，生成搜索空间和目标函数；通过启发式搜索策略，在所述搜索空间内进行搜索，当所述目标函数达到阈值时，生成面向硬件平台的硬件指令和数据描述符。

在一种可能的实现方式中，所述启发式搜索策略包括：提高硬件平台内片上缓存的利用率的搜索策略；或者，在保证硬件平台内运算单元和访问单元的利用率的基础上，减小运算粒度和访存粒度的搜索策略。

在一种可能的实现方式中，根据所述数据描述符，对所述第一模型数据进行面向硬件平台的处理，得到第二模型数据，包括：根据所述数据描述符，按照硬件平台内的运算要求，对所述第一模型数据进行数据对齐；或者，根据所述数据描述符，按照硬件平台内的运算要求，对所述第一模型数据进行维度变换；或者，根据所述数据描述符，按照硬件平台内的运算要求，对所述第一模型数据进行精度选择。

在一种可能的实现方式中，根据所述硬件指令和所述第二模型数据，得到所述深度学习算法的可执行文件，包括：将所述硬件指令和所述第二模型数据打包，得到所述深度学习算法的可执行文件。