[发明专利]一种深度卷积神经网络快速自动压缩方法

权利要求书

1.一种深度卷积神经网络快速自动压缩方法，其特征在于，包括输入优化目标和待优化模型，并根据所述待优化模型和所述优化目标初始化强化学习代理和环境，进行最优模型量化方案搜索，具体搜索过程如下：

S1单轮搜索过程：

S11：根据通道重要性计算零比特通道索引和通道最小比特数；

S12：根据所述零比特通道索引确定当前模型量化方案；

S13：基于所述当前模型量化方案计算量化后模型大小；

S14：若当前可压缩层是最后一层且所述当前模型量化方案不满足所述优化目标，则根据所述通道最小比特数循环调整所述当前模型量化方案，直至满足所述优化目标或不能进行量化为止；

若当前可压缩层不是最后一层，或者所述当前模型量化方案满足所述优化目标，则基于所述量化后模型大小评估当前层量化方案并保存相关环境参数；

S15：继续搜索条件，判断是否结束本轮搜索，并且基于当前层量化方案评估结果进一步判断是否结束本轮搜索以及是否更新最优模型量化方案；

S2多轮搜索过程：重复执行S1，直至当前搜索轮数达到要求搜索轮数后，模型量化方案搜索结束，输出最优压缩模型。

2.根据权利要求1所述的一种深度卷积神经网络快速自动压缩方法，其特征在于，所述待优化模型包括可量化层集合N＝{L₁，...，L_i，...，L_n}，其中i＝1…n，n表示可量化层数，可量化层输入通道数集合I＝{I₁，...，I_n}和可量化层所需存储空间集合LS＝{LS₁，...，LS_n}；

所述优化目标包括压缩后模型最大比特率bit_max、搜索轮数episodes、模型大小压缩比sc∈(0，1]、待优化模型初始化TOP-5准确率acc(N)、最优评估结果R_best和最优模型量化方案P_best；

初始化强化学习环境时，强化学习状态s_i定义为(idx，t，out，in，w，h，stride，k，reducedFLOPs，resFLOPs，reducedSize，restSize，a_i-1)，其中，idx为层索引，t为层类型、包括卷积层和全连接层，out为输出通道数，in为输入通道数，w和h是输入特征向量的宽和高，stride与k为卷积层卷积操作的步长和卷积核的边长、全连接层中stride与k均为1，reducedFLOPs是当前压缩策略减少的计算量、初始化为0，restFLOPs是模型剩余计算量、初始化为模型计算量N_FLOPs，reducedSize是当前压缩策略减少的模型大小、初始化为0，restSize是模型剩余大小、初始化为模型大小N_size，a_i-1为前一个可压缩层稀疏度，初始化为0；

强化学习代理包括行动者网络θ、评价者网络μ和环境噪声σ。