[发明专利]基于L1范数组归一化的卷积神经网络电路的归一化方法

说明书

本发明公开了基于L1范数组归一化的卷积神经网络电路的归一化方法，属于计算、推算或计数的技术领域，该方法通过对输入数据进行通道方向的分组后进行基于L1范数的组归一化，使用基于L1范数的组归一化避免了平方运算与开方运算，同时保证了在批样本数较小时神经网络的准确率。相比于使用基于L2范数的批量归一化，该方法在保证准确率的前提下有效降低了神经网络的计算量和存储量，极大地降低了神经网络电路的功耗，并提升了电路的能效。

技术领域

本发明属于低功耗电路设计领域，尤其是针对低功耗的卷积神经网络电路方面，可以用于降低卷积神经网络归一化层的电路功耗，具体公开了基于L1范数组归一化的卷积神经网络电路的归一化方法，属于计算、推算或计数的技术领域。

背景技术

深度学习在图片识别、自然语言处理等领域展现出了独特优势，为了追求更高的准确率，神经网络的深度不断增加，但同时训练难度也不断增大，收敛速度越来越慢，并且对学习率等超参数的初始化要求越来越苛刻。近年来，针对此问题提出基于L2范数的批量归一化方法(Batch Normalization)使用L2范数即各元素平方和后开根号的方法计算方差，将神经网络每层的输入归一化为零均值单位方差的正态分布，解决了梯度消失、收敛速度慢等问题，因此批量归一化逐渐成为神经网络的标准配置。

近年来，移动端的片上训练专用神经网络芯片成为了研究热点，虽然其满足了隐私性，但片上训练对神经网络的计算量与存储量提出了很苛刻的限制条件。目前，很多专用神经网络芯片只处理前向推理而不涉及反向训练，因此很少有神经网络电路针对反向训练过程中批量归一化庞大的计算量与存储量以及随之而来的巨大功耗进行优化。然而，但当测试集与训练集的数据分布不同时，这种云端训练，片上推理的批量归一化使用的均值方差是云端训练时记录的训练集滑动均值与滑动方差，当训练使用的数据集与推理时的数据集存在较大差异时，数据分布将不吻合，此时归一化层将使用云端训练集的滑动均值方差去归一化推理的数据，但是此均值方差与推理数据集的均值方差差距很大，归一化效果很差，因此推理准确率将下降；此外，如果私人数据不在片上训练而是上传到云端训练，将不可避免地面临隐私泄露的风险。

基于L2范数的批量归一化是卷积神经网络电路常用的批量归一化方法，基于L2范数的批量归一化引入了平方运算与开方运算，卷积神经网络电路需要增加非常多的计算单元与中间数据存储单元来实现这些非线性运算，极大增加了卷积神经网络电路的功耗与存储需求。另一方面，相关研究指出批量归一化严重依赖于批样本数的大小，当批样本数减小时，使用批量归一化的神经网络的错误率将迅速上升。然而，神经网络电路有限的存储空间限制了批样本数的大小，限制了批样本数大小的批量归一化处理影响神经网络电路的性能。因此设计一种低功耗、低存储量的归一化方法显得极为重要。本申请旨在通过对输入数据进行通道方向的分组后进行基于L1范数的组归一化，以实现在保证准确率的前提下缩小批样本数的目的。

发明内容

本发明的发明目的是针对上述背景技术的不足，提供了基于L1范数组归一化的卷积神经网络电路的归一化方法，实现了批样本数较小时神经网络的高准确率与低功耗，解决了批量归一化严重依赖于批样本数的大小且需要庞大计算量与存储量技术问题。

本发明为实现上述发明目的采用如下技术方案：

本发明针对要求低功耗、低存储量的片上训练神经网络电路，重点研究了归一化方法的特点，使用避免非线性运算的L1范数与保持较小批样本数时高准确率的组归一化方法，有效降低了计算量与存储量，在保持准确率的前提下显著降低了功耗与存储需求。

根据L1范数避免平方运算与开方运算的特点，对于给定的批样本数训练样本，S_i是第i组计算均值方差的数据集合，m是集合S_i中的元素个数，使用L1范数计算均值方差的方法如下：