[发明专利]一种用于多任务神经网络的量化和硬件加速方法及装置

说明书

本发明实施例涉及一种用于多任务神经网络的量化和硬件加速方法及装置，所述方法包括：获取预设的多个多任务神经网络模型，其中，所述多个多任务神经网络模型包括的层数一致；提取所述多个多任务神经网络模型中同一层的共享权重，生成对应权重码表，其中，所述权重码表包含所述共享权重；获取所述多个多任务神经网络模型的训练样本，从所述训练样本中分析共享特征值，生成对应特征值码表，其中，所述特征值码表包含所述共享特征值；将所述多个多任务神经网络模型放入神经网络加速器硬件中，基于所述权重码表以及所述特征值码表对所述多个多任务神经网络模型进行加速。

技术领域

本发明实施例涉及深度神经网络模型的硬件加速领域，尤其涉及一种用于多任务神经网络的量化和硬件加速方法及装置。

背景技术

深度神经网络在图像处理、语音识别、自然语言处理等任务中取得了很好的效果，同时在终端设备和云端数据中心等场景中被广泛应用，并且出现了很多用于加速深度神经网络的专有硬件设计，即神经网络加速器。深度神经网络模型通常具有庞大的参数量以及计算量，且乘加运算占据了计算量中的绝大部分，因此，神经网络加速器中通常使用阵列式的乘加器(MAC，multiply and accumulate)来提高运算并行度。除此之外，神经网络加速器还通常使用稀疏计算方法和去除冗余计算的方式提高神经网络加速器的运行效率，稀疏计算方法利用神经网络参数和激活值稀疏(非零值较少)的特性，跳过对不影响结果的零值的计算，降低神经网络模型的计算量和存储量，而去除冗余计算的主要思路是找到神经网络中有可能经常出现同样计算的位置，通过保存计算结果来跳过神经网络中重复的计算，即减少了运算次数，可以降低计算单元的功耗。

神经网络模型的训练过程中，通常使用32bit浮点数(fp32)保存模型的参数和激活值，但浮点数的保存、传输、运算都会带来比定点数更大的硬件开销。因此，出现了一些将神经网络中的浮点数据表示转化为低精度整型数据的方法，即量化。当前商业产品中已经证明通常使用8bit整型数代替32bit浮点数对神经网络模型精度几乎没有损失，且具有较好的普适性，对于较多模型适用，而学术界的一些成果中也表明更低精度如4bit、2bit甚至1bit的二值数据类型也可以在不明显损失模型精度的同时大幅降低模型大小。

随着智能设备的发展，对周边场景信息提取、交互的需求越来越高，多任务神经网络渐渐出现，成为AI应用的新趋势。例如自动驾驶技术使用摄像头对周围路况信息进行采集分析，通常需要用于目标识别和自动避障的物体检测模块，用于区分道路/非道路的语义分割模块，用于跟踪持续移动的物体轨迹的物体跟踪模块等。由于这些协同使用的神经网络的功能有相似之处，训练这些神经网络时可以通过共享网络结构、共享参数(权重)等方法，在不影响网络精度的同时降低模型大小。

发明内容

鉴于此，为解决现有技术中的问题，本发明实施例提供了一种用于多任务神经网络的量化和硬件加速方法及装置。

第一方面，本发明实施例提供了一种用于多任务神经网络的量化和硬件加速方法，所述方法包括：

获取预设的多个多任务神经网络模型，其中，所述多个多任务神经网络模型包括的层数一致；

提取所述多个多任务神经网络模型中同一层的共享权重，生成对应权重码表，其中，所述权重码表包含所述共享权重；

获取所述多个多任务神经网络模型的训练样本，从所述训练样本中分析共享特征值，生成对应特征值码表，其中，所述特征值码表包含所述共享特征值；

将所述多个多任务神经网络模型放入神经网络加速器硬件中，基于所述权重码表以及所述特征值码表对所述多个多任务神经网络模型进行加速。

在一个可能的实施方式中，所述提取所述多个多任务神经网络模型中同一层的共享权重，生成对应权重码表，包括：

提取所述多个多任务神经网络模型中同一层的所有权重；