[发明专利]一种基于LSTM网络的片上微调方法及装置

权利要求书

1.一种基于LSTM网络的片上微调方法，其特征在于，包括：

CPU根据LSTM网络模型的参数，生成计算参数，所述计算参数包括：输入尺寸、输出尺寸、输入通道的分组数、输出通道的分组数、输入通道每组数量、输出通道每组数量、单次在板计算尺寸、单次在板任务中间计算结果尺寸；

CPU根据所述计算参数对输入值以及权重值进行切割分块，得到单次在板计算块，对所述在板计算块进行细粒度切分，对第一次切割得到的块再进行细粒度切分以及生成指令集合；

在神经网络处理器NPU读取所述指令集合；

根据所述指令集合执行NPU片上计算，以生成中间值和LSTM网络输出值；

CPU对所述中间值进行tanh函数计算以及矩阵Hadamard乘积运算，所述tanh函数计算用于计算记忆元，所述矩阵Hadamard乘积运算用于计算当前记忆元；

NPU将所述LSTM网络输出值传输至误差函数，并通过所述误差函数得到误差值；

NPU根据所述误差值，更新所述权重值以及偏置值，得到更新后的权重值以及偏置值；

NPU利用多个人工智能融合核对所述NPU片上计算过程进行加速，以使多个所述NPU并行计算；

CPU使用所述更新后的权重值以及偏置值反向传播，以根据所述指令集合执行新一轮NPU片上计算。

2.根据权利要求1所述的基于LSTM网络的片上微调方法，其特征在于，根据LSTM网络模型的参数，生成计算参数的步骤之前还包括：

对所述LSTM网络模型的输入值以及权重值进行预处理，所述预处理包括将所述LSTM网络模型的输入值以及权重值量化至低精度int8，用于进行NPU片上计算。

3.根据权利要求1所述的基于LSTM网络的片上微调方法，其特征在于，所述指令集合包括：

加载指令，所述加载指令用于完成存储器DDR中连续多组内存的数据到NPU片上指定地址的数据搬运；

存储指令，所述存储指令用于完成写入计算结果到存储器DDR中；

矩阵乘指令，所述矩阵乘指令用于完成单位输入通道上的数据在单位输出通道上的乘累加运算，并与单位输出通道上的初始累加值相加；

矢量计算指令，所述矢量计算指令用于完成输入通道上单位元素的偏置加法与移位激活。

4.根据权利要求1所述的基于LSTM网络的片上微调方法，其特征在于，

所述tanh函数为激活函数，所述tanh函数的值范围为(−1,1)，所述记忆元的计算公式为：

；

其中，输入为，和为权重参数，前一时间步的隐状态为，为偏置参数；

所述当前记忆元的计算公式为：

；

其中，为输入门，为记忆元，是遗忘门，为当前记忆元；所述输入门用于控制采用来自所述记忆元的新数据的数量；所述遗忘门用于控制保留原始记忆元的内容的数量。

5.根据权利要求1所述的基于LSTM网络的片上微调方法，其特征在于，根据所述更新后的权重值以及偏置值反向传播的步骤之后还包括：

重新将所述LSTM网络输出值传输至误差函数，通过所述误差函数得到新的误差值；

如果所述新的误差值小于或等于误差阈值，输出更新后的权重值以及偏置值；

如果所述新的误差值大于误差阈值，再次更新所述权重值以及偏置值，以及将所述LSTM网络输出值传输至误差函数。