[发明专利]一种用于多任务神经网络的量化和硬件加速方法及装置

权利要求书

1.一种用于多任务神经网络的量化和硬件加速方法，其特征在于，所述方法包括：

获取预设的多个多任务神经网络模型，其中，所述多个多任务神经网络模型包括的层数一致；

提取所述多个多任务神经网络模型中同一层的共享权重，生成对应权重码表，其中，所述权重码表包含所述共享权重；

获取所述多个多任务神经网络模型的训练样本，从所述训练样本中分析共享特征值，生成对应特征值码表，其中，所述特征值码表包含所述共享特征值；

将所述多个多任务神经网络模型放入神经网络加速器硬件中，基于所述权重码表以及所述特征值码表对所述多个多任务神经网络模型进行加速。

2.根据权利要求1所述的方法，其特征在于，所述提取所述多个多任务神经网络模型中同一层的共享权重，生成对应权重码表，包括：

提取所述多个多任务神经网络模型中同一层的所有权重；

从所述权重中剔除重复权重并协同聚类，得到包含多个多任务神经网络模型中同一层的共享权重的权重码表。

3.根据权利要求2所述的方法，其特征在于，所述方法还包括：

针对所述权重码表中包含的所述共享权重进行聚类，生成多个簇；

针对任一簇，选择聚类中心代替该簇中包含的权重。

4.根据权利要求1所述的方法，其特征在于，所述基于所述权重码表以及所述特征值码表对所述多个多任务神经网络模型进行加速，包括：

基于所述权重码表以及所述特征值码表，对所述多个多任务神经网络模型中任一一层执行以下步骤：

在神经网络加速器的运算单元中，使用每一对需要对应位置相乘的输入的特征值索引和权重的特征值索引查找乘法结果复用表；

如果每一对需要对应位置相乘的输入的特征值索引和权重的特征值索引存在于所述乘法结果复用表，使用所述乘法结果复用表中的乘法结果；

如果每一对需要对应位置相乘的输入的特征值索引和权重的特征值索引未存在于所述乘法结果复用表，根据每一对需要对应位置相乘的输入的特征值索引和权重的特征值索引查找真实值，利用所述真实值进行相乘；

将累加结束的输出特征值，与输出码表项进行对比，将最近接的码表项的索引输出，保存在存储单元。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

若多个多任务神经网络模型中当前层为首层时，对于所述多个多任务神经网络模型首层输入的输入特征值，与所述特征值码表进行对应，查找所述输入特征值的索引。

6.一种用于多任务神经网络的量化和硬件加速装置，其特征在于，所述装置包括：

模型获取模块，用于获取预设的多个多任务神经网络模型，其中，所述多个多任务神经网络模型包括的层数一致；

权重提取模块，用于提取所述多个多任务神经网络模型中同一层的共享权重，生成对应权重码表，其中，所述权重码表包含所述共享权重；

特征值分析模块，用于获取所述多个多任务神经网络模型的训练样本，从所述训练样本中分析共享特征值，生成对应特征值码表，其中，所述特征值码表包含所述共享特征值；

模型加速模块，用于将所述多个多任务神经网络模型放入神经网络加速器硬件中，基于所述权重码表以及所述特征值码表对所述多个多任务神经网络模型进行加速。

7.根据权利要求6所述的装置，其特征在于，所述权重提取模块具体用于：

提取所述多个多任务神经网络模型中同一层的所有权重；

从所述权重中剔除重复权重并协同聚类，得到包含多个多任务神经网络模型中同一层的共享权重的权重码表。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

权重聚类模块，用于针对所述权重码表中包含的所述共享权重进行聚类，生成多个簇；

针对任一簇，选择聚类中心代替该簇中包含的权重。