[发明专利]基于结构化贝叶斯后验概率估计的神经网络压缩方法

摘要

本发明公开了一种基于结构化贝叶斯后验概率估计的神经网络压缩方法，用于解决现有神经网络压缩方法存在非结构化压缩的技术问题。技术方案是通过重参数技巧在训练过程中对模型参数w引入方差可学习的高斯噪声，将神经网络从数值优化问题变换为概率推理问题，实现基于因果推理的贝叶斯参数估计。同时采用分组概率估计的约束方法，实现分组的参数不确定性估计，结合稀疏先验，实现结构化的分组参数压缩，更有利于模型的移动端部署。本发明从分组贝叶斯估计的角度实现了神经网络参数的稀疏学习，解决了现有神经网络压缩方法非结构化压缩的技术问题。

主权项

1.一种基于结构化贝叶斯后验概率估计的神经网络压缩方法，其特征在于包括以下步骤：步骤一、构建常规神经网络参数，与此同时，为每一个参数配置一个基于梯度调整的参数α，作为后验概率分布的方差；步骤二、在每一次前向推理时，利用中心极限定理得到参数后验概率分布以及参数层输出的分组后验概率分布，根据步骤一参数层输出后验概率分布的公式化表示，再结合高斯分布线性可加性，得到分组表示的组合高斯分布表示，并使用重参数技巧得到所述组合高斯分布的实际采样结果：步骤三、将采样得到的参数层输出和剪枝掩码相乘，消除已经被剪枝参数在前向传播中的影响，再将计算结果作为下一层的输入，当再次进行线性层推理时，重复步骤二；步骤四、完成一次前向传播后，计算需要优化的变分下限，包括对数似然期望值、后验概率分布与先验分布间的KL散度约束值；步骤五、根据随机梯度下降对神经网络参数进行调整，对步骤四得到的当前迭代步的变分下限最小化处理；步骤六、至此完成了模型参数W与分布参数α的调整，根据分布参数α的数值，对用于剪枝的掩码进行更新并重新回到步骤二：logα_ij＝3步骤七、根据最终掩码对神经网络进行剪枝，得到压缩过后的神经网络结构及其参数。