[发明专利]神经网络的量化方法、装置、服务器和存储介质

说明书

本发明公开了一种神经网络的量化方法、装置、服务器和存储介质。神经网络的量化方法包括：利用原始权重初始化量化权重；设置目标函数，所述目标函数包括所述量化权重与所述原始权重之间的夹角、共享权重值和权重分配索引；求解所述目标函数以最小化所述量化权重与所述原始权重之间的夹角，并得到所述共享权重值及所述权重分配索引；根据所述共享权重值及所述权重分配索引获得所述量化权重。上述神经网络的量化方法，是基于向量方向来优化神经网络量化问题的方法，通过最小化量化权重与原始权重之间的夹角，使得量化权重能够尽可能的保存原始权重信息，从而降低量化所带来的信息损失。

技术领域

本发明涉及深度神经网络技术领域，特别涉及一种神经网络的量化方法、装置、服务器和存储介质。

背景技术

近年来，深度神经网络极大的推动了自动驾驶领域的发展，使得人们过去几十年的畅想逐渐变成了可能。但是深度神经网络所需要的庞大的计算量，限制了其在运算资源有限的车载智能硬件上的应用。为了解决这一瓶颈，许多研究工作通过量化深度神经网络运算中的参数，通过将浮点数参数转换为定点数参数并缩短其位宽来达到降低深度神经网络计算开销的需求。然而，在量化过程中，如何降低量化的信息损失成为待解决的技术问题。

发明内容

本发明的实施方式提供了一种神经网络的量化方法、装置、服务器和存储介质。

本发明实施方式的神经网络的量化方法包括：

利用原始权重初始化量化权重；

设置目标函数，所述目标函数包括所述量化权重与所述原始权重之间的夹角、共享权重值和权重分配索引；

求解所述目标函数以最小化所述量化权重与所述原始权重之间的夹角，并得到所述共享权重值及所述权重分配索引；

根据所述共享权重值及所述权重分配索引获得所述量化权重。

在某些实施方式中，利用原始权重初始化量化权重，包括：

对每一层网络的原始权重使用最小化欧氏距离以初始化所述量化权重。

在某些实施方式中，利用原始权重初始化量化权重，包括：

对每一层网络的原始权重使用对数量化以初始化所述量化权重。

在某些实施方式中，所述量化方法包括：

在每一层网络中加入批量归一化以减少内部协方差变异。

在某些实施方式中，所述量化权重与所述原始权重之间的夹角表示为所述原始权重中的第i个核函数矢量与量化权重矢量的内积除以所述第i个核函数矢量和所述量化权重矢量的长度。

在某些实施方式中，求解所述目标函数，包括：

固定所述共享权重值，调整所述权重分配索引；

固定所述权重分配索引，调整所述共享权重值。

在某些实施方式中，根据所述共享权重值及所述权重分配索引获得所述量化权重，包括：

按照所述权重分配索引依次对每层所述原始权重分配对应的共享权重值以获得所述量化权重。

本发明实施方式的神经网络的量化装置，包括：

初始化模块，所述初始化模块用于利用原始权重初始化量化权重；

设置模块，所述设置模块用于设置目标函数，所述目标函数包括所述量化权重与所述原始权重之间的夹角、共享权重值和权重分配索引；

求解模块，所述求解模块用于求解所述目标函数以最小化所述量化权重与所述原始权重之间的夹角，并得到所述共享权重值及所述权重分配索引；