[发明专利]LSTM模型优化方法、加速器、装置及介质

说明书

本发明公开了一种LSTM模型优化方法、加速器、装置及介质，该方法包括以下步骤：获取剪枝后的LSTM网络的权重矩阵；基于所述权重矩阵，获取所述权重矩阵的权值稀疏度；获取输入序列的稀疏度；基于所述权值稀疏度以及所述输入序列的稀疏度，对运算模式进行判断；若所述运算模式判定为稀疏运算模式，则对所述输入序列按照所述稀疏运算模式进行计算；本发明旨在提高LSTM硬件加速器的能效比，且实现简单，易于部署。

技术领域

本发明涉及计算机硬件加速领域，尤其涉及一种LSTM模型优化方法、加速器、装置及介质。

背景技术

基于长短时记忆模型(Long Short-Term Memory，LSTM)的循环神经网络(Recurrent Neural Network,RNN)是一种处理序列数据的神经网络模型，它有效解决了梯度消失和爆炸问题，并在智能认知领域被广泛地应用，比如语音识别、行为识别和自然语言处理等。但在实际工程应用实践中，却面临着诸多问题。传统的计算平台无法承载LSTM如此大的数据计算量。在嵌入式应用中，特别是自动驾驶等时延性要求极高的领域，LSTM模型本身由于其巨大的参数量，以及海量的训练数据和推断测试数据，导致在训练模型和模型推断中，不仅计算复杂度高，且计算平台的功耗也非常大。这在功耗性要求极高的嵌入式设备中，很难部署模型。

针对LSTM模型稀疏化后的硬件加速计算，业界引入Delta算法，通过利用序列数据数值相似性，对序列数据的稀疏性进行构建、挖掘，并对LSTM模型进行重构和算法加速，但这种方法受限于序列数据的时间依赖性，需要相邻时刻输入数据具有较高相似度，应用范围存在明显局限，且基于Delta的LSTM模型重构硬件加速实现复杂，不利于硬件部署。

发明内容

有鉴于此，本申请实施例提供一种LSTM模型优化方法、加速器、装置及介质，本申请旨在提高LSTM硬件加速器的能效比，且实现简单，易于部署。

本申请实施例提供了一种LSTM模型优化方法，所述方法包括：

获取剪枝后的LSTM网络的权重矩阵；

基于所述权重矩阵，获取所述权重矩阵的权值稀疏度；

获取输入序列的稀疏度；

基于所述权值稀疏度以及所述输入序列的稀疏度，对运算模式进行判断；

若所述运算模式判定为稀疏运算模式，则对所述输入序列按照所述稀疏运算模式进行计算。

在一实施例中，所述基于所述权值稀疏度以及所述输入序列的稀疏度，对运算模式进行判断，包括：

若所述权值稀疏度大于或者等于权值稀疏度阈值和/或所述输入序列的稀疏度大于或者等于输入序列稀疏度阈值，则判定为所述稀疏运算模式。

在一实施例中，所述对所述输入序列按照所述稀疏运算模式进行计算，包括：

对所述权重矩阵进行平衡调整；

将所述输入序列与调整后的权重矩阵进行乘法计算。

在一实施例中，所述对所述权重矩阵进行平衡调整，包括：

统计所述权重矩阵中有效权重的个数；

将所述有效权重的个数除以所述权重矩阵的行数，获得每行的有效权重平均数；

基于所述有效权重平均数，调整所述权重矩阵每行的有效权重个数。

在一实施例中，所述获取输入序列的稀疏度，包括：

对预设数量个运算周期内的输入序列的零值个数或者连续零值个数执行零值检测，获得输入序列的稀疏度。

在一实施例中，所述基于所述权值系数度以及所述输入序列的稀疏度，对运算模式进行判断，还包括：