[发明专利]一种针对深度学习网络参数的量化方法

说明书

本发明提供了一种针对深度学习网络参数的量化方法。本方法包括如下步骤：(1)构建深度学习网络，产生训练数据；(2)利用大量训练数据对所构建的深度学习网络进行训练，确定网络参数；(3)提取出学习参数，确定超参数；(4)设计量化器，由超参数确定所设计软阶梯函数的具体表达式，并引入可学习参数，使之形状可调整；(5)将该带有学习参数的软阶梯函数引入深度学习网络，量化学习参数，通过相同的训练数据学习量化器参数，训练过程采用退火策略；(6)固定训练后的量化器参数，运用量化器对深度学习网络参数进行量化。本发明能够有效降低量化所引起的性能损失，大大降低了深度网络所需的存储开销。

技术领域

本发明属于深度学习领域，是一种针对深度学习网络参数的量化方法。

背景技术

深度学习网络这一学科是自从2006年起，随着基于层叠的限制玻尔兹曼机的深度信念网络的学习算法的提出，而逐渐开创起来的，它在人工智能领域中是一门新兴的学科，其研究的主要内容，就是多层神经网络的建模和算法学习的问题。深度学习网络方法已经成功运用于其他很多领域，比如说图像处理，自然语言处理等。

深度学习是一种新兴的多层神经网络学习算法，因其缓解了传统网络训练中局部最小性，引起机器学习领域的广泛关注。随着近几年的发展，深度学习网络不仅仅指多层神经网络，而是泛指由复杂网络结构构成的多层网络，主要可将深度学习网络分为两种，一是模型驱动的深度学习网络，该类网络根据已知的知识和机制构建，通常是将已知的迭代算法展开成网络，比如LAMP和LISTA算法；二是数据驱动深度学习方法，此方法将网络看做是黑盒并依赖大量数据训练这个网络，常见的全连接网络以及深度卷积网络都属于此种方法。深度网络凭借其多层网络结构，在很多领域获得了很好的应用，但是与此同时，随着网络层次的增加，随之而来的是数量庞大的网络参数，不仅难以学习，在存储网络结构时需要大量的硬件开销。

对于大型深度网络，量化网络参数不是为一种压缩网络存储空间的方法。另外，在不同的应用中，训练所得的网络参数具有不同的分布，如果采用常用的量化器，容易引起较大的量化误差，本发明提出了专门针对深度学习网络的量化器，通过学习来确定量化函数。量化器通常表示为分离的硬阶梯函数，硬阶梯函数并非处处可导，且绝大部分区域导数为零，难以引入网络进行后向梯度传递过程，因此本发明专门设计了一种处处可导的软阶梯函数，并且引入了可学习参数以调整该阶梯函数的形状。该软阶梯函数可以引入训练完成后的网络中，固定网络参数，以训练量化器的参数。通过学习，可得到适应于网络参数的量化器，不仅减少了网络的存储开销，并且减少了由于量化引起的性能损失。

发明内容

本发明的目的是针对在大型深度网络中，由于网络结构复杂，层数深，网络中所包含的网络参数往往数量过多，这会引起巨大的存储开销。在参数更新的系统中，大量网络参数也给传输增加了巨大的负担。提出了一种针对深度学习网络参数的量化方法。本发明采用如下技术方案：

1.构建深度学习网络，并根据问题产生训练数据；

2.利用训练数据对所构建的深度学习网络进行训练，确定网络参数；大型深度网络所表示的映射过程为：

其中y表示输入信号，表示网络的输出信号，Θ为深度网络中所包含学习参数。训练数据为其中y_m是输入数据，s_m是标签，M是训练数据的数量。

3.提取步骤2所述的网络参数，根据网络参数界限和量化台阶数确定量化比特数和相邻量化台阶间隔；

4.设计量化器，所述量化器由带有可学习参数的处处可导的软阶梯函数构成，由步骤3所述的网络参数界限、量化台阶数和相邻量化台阶间隔确定软阶梯函数的函数表达式，并引入可学习参数作为量化器参数；

5.固定步骤2得到的网络参数，将步骤4所述的量化器引入深度学习网络并量化网络参数，采用步骤1所述的训练数据训练量化器参数，训练过程采用退火策略；