[发明专利]一种适应目标数据集的网络模型微调方法、系统、终端和存储介质

权利要求书

1.一种适应目标数据集的网络模型微调方法，其特征在于，包括：

S01：以原数据集为基础，预训练原网络模型，创建目标网络模型，沿用原网络模型上除了输出层外的所有模型层数架构及其统一神经网络各个层的参数；

S02：为目标网络模型设置输出层，输出层个数与目标数据集匹配；目标网络模型参数初始化随机设置；

S03：除了输出层之外的统一神经网络各个层的参数都均是基于原模型的参数微调获得，以设置好的目标数据集二次训练输出层至目标网络模型。

2.根据权利要求1所述的适应目标数据集的网络模型微调方法，其特征在于，对于目标数据集的数据量少的情况下：如果数据相似度非常高的话，只修改最后几层或最终的softmax函数图层的输出类别，但若目标数据集的数据相似度低的话，可以冻结预训练模型的初始层数目，并再次训练除初始层之外剩余的层。

3.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，对于目标数据集的数据量大的情况下：如果数据相似度低的话，我们的神经网络训练将会很有效。

4.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，步骤S01还包括原数据集准备步骤S011：准备两个图像文档文件，放成清单的形式，在每一个图像文档文件之后标记该文档文件的类别ID编码，原数据集中图像文档文件的ID编码应当连续。

5.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，所述微调的具体步骤是：

S031：在原网络模型上运行预先训练的参数值，使用比初始化学习率比用于从头开始训练，以数值低于额定值的学习率来确保执行交叉验证；检测目标数据集的数据量，当监测到目标数据集的数据量大于额定值时，截断预先训练好神经网络的最后一层(softmax层)，并用微调的softmax层替换；

S032：当检测到目标数据集的数据量小于额定值时，只训练最后一层，如果数据集数量中等，冻结预训练网络的前一层或几层的权重，仅调整数据集高维层的权重。

6.根据权利要求2所述的适应目标数据集的网络模型微调方法，其特征在于，所述步骤S032中冻结预训练原神经网络的前一层或几层的权重，仅调整数据集高维层的权重。

7.根据权利要求6所述的适应目标数据集的网络模型微调方法，其特征在于，在步骤S02中应该注意：为目标网络模型设置输出层时，

S021：首先修改原网络模型的名称，这样预训练的原网络模型赋值的时候这里就会因为名字不匹配从而重新训练，也就达成了适应新任务的目的；

S022：调整学习速率，仅仅输出层重新学习，输出层以外的统一神经网络层因此需要有更快的学习速率，因此weight和bias的学习速率加快3～15倍，加快学习率的同时将跟输出层的名字都要修改成适应学习速率的表达。

8.根据权利要求1所述的适应目标数据集的网络模型微调方法，其特征在于，步骤S02实际操作时，其他的调整包括对测试集数据量的调整、基本学习速率的调整、步长的调整和最大的迭代次数的调整，对于动量和权重衰减项都没有修改，网络模型文件和快照的路径做自适应修改。