[发明专利]用于神经网络量化的方法和设备

说明书

本申请要求于2016年10月19日提交的第62/409,961号美国临时专利申请和于2017年2月15日提交的第15/433,531号美国非临时专利申请的优先权，这些申请的全部内容通过引用合并于此。

技术领域

本公开通常涉及深度神经网络，更具体地，涉及一种用于神经网络量化的方法和设备。

背景技术

机器学习技术正在不断地发展，从网络搜索、内容过滤、商业网站自动推荐、自动化游戏、对象检测、图像分类、语音识别、机器翻译、药物发现和基因组学，已经开始支持现代社会的很多方面。目前机器学习领域中的最先进的技术是深度神经网络，其使用由多个处理层组成的计算模型，所述多个处理层学习具有多个抽象级别的数据表示(通常是极大量的数据)，因此术语“深度学习”、“深度网络”等参见例如在Nature，卷521，pp.436-444(2015年5月28日)中的LeCun，Yann，Yoshua Bengio和Geoffrey Hinton的“Deep learning”，其全部内容通过引用合并于此。

机器学习的第一也是最重要的阶段是训练。考虑针对图像分类的机器学习系统。例如人、宠物、车辆和房屋的图像的大数据集被收集，每一个图像都标有相应的类别。在训练期间，机器被展示图像，并以分数向量的形式产生输出，每个类别对应一个输出。最终的目标是使正确的类别获得所有类别中的最高分，但这不可能发生在训练之前。在训练中使用测量输出分数与分数的期望模式(pattern)之间的误差(或差距)的目标函数。更具体地，机器修改其内部的可调参数以减少从目标函数计算的误差。这些可调参数，通常称为权重，用于定义机器的输入输出函数。在典型的深度学习系统中，可能有数亿个这样的可调权重/参数，以及用于训练机器的数亿个标识样本(example)。

为了适当地调整权重向量，学习算法计算梯度向量，对于每个权重，梯度向量用如果权重增加了小部分而误差将增加或减少的数量来表示。然后在与梯度向量相反的方向上调整权重向量。通过所有训练样本平均的目标函数能够被看作是在权重值的高维空间中的一种丘陵景观。负梯度向量表示该景观中最陡的下降的方向，使其接近最小值，其中，平均输出误差较低。在实践中，通常使用被称为随机梯度下降(SGD)的过程。该过程包括示出一些样本的输入向量、计算输出和误差、计算这些样本的平均梯度、并相应地调整权重。此过程针对训练集中的许多小样本集进行重复，直到目标函数的平均值停止减小。因为每个小样本集给出了所有样本中的平均梯度的噪声估计，因此这就是所谓的随机。与更精细的优化技术相比，这个简单的过程通常会非常快速地找到一组好的权重。在训练之后，针对被称为测试集的不同样本集测量系统的性能。这用于测试机器的泛化能力—即，用于产生关于在训练期间从未见过的新的输入的合理答案的能力。

如上所述，可存在数以亿计的网络参数/权重，其需要大量的存储器来存储。因此，尽管深度神经网络非常强大，但它们还需要大量的资源来实现，特别是在存储器方面。参见，例如在Advances in neural information processing systems 2012中的Krizhevsky、Alex、Ilya Sutskever和Geoffrey E.Hinton的“Imagenet classification with deep convolutional neural networks”(具有6100万个网络参数)以及在arXiv预印版arXiv：1409.1556(2014)中的Simonyan、Karen和Andrew Zisserman的“Very deep convolutional networks for large-scale image recognition”(拥有1.38亿个网络参数)，其全部内容通过引用合并于此。

这使得在具有有限存储的装置(诸如移动/便携式装置)上部署深度神经网络变得困难。

发明内容

因此，本公开是为了至少解决本文描述的问题和/或缺点，并提供至少下面描述的优点。

根据本公开的一方面，提供了一种神经网络量化方法，所述方法确定神经网络的网络参数的损失函数的二阶偏导矩阵的对角线，其中，所述二阶偏导矩阵是海赛矩阵，并且所述方法使用确定的对角线对所述网络参数进行加权，作为对所述网络参数进行量化操作的一部分。