[发明专利]一种基于幂律分布的权重初始化方法

权利要求书

1.一种基于幂律分布的权重初始化方法，其特征在于具体操作步骤如下：

S1、建立cifar10数据集的AlexNet和深度残差网络模型，并计算卷积层权重数量：

卷积是一种有效提取图片特征的方法，用一个正方形卷积核，遍历图片上的每一个像素点，图片与卷积核重合区域内相对应的每一个像素值，乘卷积核内相对应点的权重，然后求和，再加上偏置后，最后得到输出图片中的一个像素值；图片分灰度图和彩色图，卷积核能够是单个也能够是多个，而卷积核中的各个参数就是卷积层的权重，卷积核参数个数就是卷积层的权重个数，依据卷积核的维度和个数，便能够计算出该卷积层所需权重的数量；

S2、生成各个卷积层参数初始化所需要的一种基于幂律分布的分布数据：

幂律分布是指某个具有分布性质的变量，且其分布密度函数是幂函数的分布，以幂律函数为概率密度函数，根据卷积层中需要初始化的参数个数，依次生成每一层对应的基于幂律分布的初始化数据；

S3、在深度学习模型中应用步骤S2提出的初始化数据进行权重初始化：

在网络初始化时，使用步骤S1中制作的数据来初始化网络模型，按层初始化完成后，放入数据集进行训练，保存每一轮次在验证集中的正确率；

S4、将步骤S2中提出的基于幂律分布的权重初始化方法与现有的初始化方法进行对比：

将使用步骤S2中提出的基于幂律分布的权重初始化方法与He初始化方法的训练情况进行对比，对比每一轮次训练结束后的模型正确率，结果可显示，在第一轮次发挥优势，正确率有显著的提升，并且最终的精确度也高于He初始化方法精确度。

2.根据权利要求1所述的一种基于幂律分布的权重初始化方法，其特征在于在AlexNet和深度残差网络两个网络上的进行实验，通过对比根据权利要求1与He初始化方法的每一轮精确度，发现根据权利要求1进行权重初始化的网络模型取得以下成果：

1)在AlexNet网络上比He初始化方法提升了5％的模型最终准确度；

2)在ResNet32网络上比He初始化方法提升了60％的首轮次精确度，以及5％的最终精确度。