[发明专利]一种基于LSTM网络的片上微调方法及装置

说明书

本申请提供一种基于LSTM网络的片上微调方法及装置，方法包括：根据LSTM网络模型的参数，生成计算参数；根据计算参数对输入值和权重值进行细粒度切分，以及生成指令集合；在神经网络处理器NPU读取指令集合；根据指令集合执行NPU片上计算，以生成中间值和LSTM网络输出值；将LSTM网络输出值传输至误差函数，并通过误差函数得到误差值；根据误差值，更新所述权重值以及偏置值；使用更新后的权重值以及偏置值反向传播，以根据指令集合执行新一轮NPU片上计算。本申请提供的方法通过CPU、NPU协同，将LSTM网络中的运算分工，以解决CPU、GPU无法快速高效的计算LSTM网络的问题。

技术领域

本申请涉及神经网络领域，尤其涉及一种基于LSTM网络的片上微调方法及装置。

背景技术

在深度学习领域，神经网络已经被用于处理各类数据，如：CNN在图像领域的应用、全连接神经网络在分类问题的应用等。随着神经网络在各个领域的渗透，以统计机器学习为主的NLP问题，也逐渐开始采用深度学习的方法来解决。RNN在面对长序列数据时，很容易便遭遇梯度弥散，使得RNN只具备短期记忆，即RNN面对长序列数据，仅可获取较近的序列的信息，而对较早期的序列不具备记忆功能，从而丢失信息。为此，为解决该类问题，便提出了长短期记忆网络LSTM(Long Short Term Memory,LSTM)。

长短期记忆网络LSTM是一种循环神经网络变体，是一种特殊的RNN循环神经网络，广泛用于图像压缩、语音识别以及自然语言处理等，长短期记忆网络LSTM通过引入门控机制和用于存储长短期历史信息的状态值，有效解决循环神经网络训练过程中出现的梯度消失问题。

与其他深度学习网络类似，长短期记忆网络LSTM网络模型大小也在不断增加，以提高其准确性，大规模的LSTM神经网络中包含大量参数和复杂的计算逻辑，长短期记忆网络LSTM中引入了记忆元，记忆元是整个LSTM神经元的核心结点增加了网络推理的计算复杂度和空间复杂度，在存储消耗、计算效率和功耗方面存在一些问题，计算平台如：CPU、GPU无法快速高效的计算LSTM网络。

发明内容

本申请提供一种基于LSTM网络的片上微调方法及装置，以解决计算平台无法快速高效的计算LSTM网络的问题。

第一方面，本申请提供一种基于LSTM网络的片上微调方法，包括：

根据LSTM网络模型的参数，生成计算参数；

根据所述计算参数对输入值和权重值进行细粒度切分，以及生成指令集合；

在神经网络处理器NPU读取所述指令集合；

根据所述指令集合执行NPU片上计算，以生成中间值和LSTM网络输出值；

将所述LSTM网络输出值传输至误差函数，并通过所述误差函数得到误差值；

根据所述误差值，更新所述权重值以及偏置值，得到更新后的权重值以及偏置值；

使用所述更新后的权重值以及偏置值反向传播；

以根据所述指令集合执行新一轮NPU片上计算。

可选的，根据LSTM网络模型的参数，生成计算参数的步骤之前还包括：

对所述LSTM网络模型的输入值以及权重值进行预处理，所述预处理包括将所述LSTM网络模型的输入值以及权重值量化至低精度int8，用于进行NPU片上计算。

可选的，所述计算参数包括：输入尺寸、输出尺寸、输入通道的分组数、输出通道的分组数、输入通道每组数量、输出通道每组数量、单次在板计算尺寸、单次在板任务中间计算结果尺寸。

可选的，根据所述计算参数对输入值和权重值进行细粒度切分，以及生成指令集合的步骤还包括：