[发明专利]一种基于类扩张学习的神经网络模型优化方法

权利要求书

1.一种基于类扩张学习的神经网络模型优化方法，其特征在于，以类扩张的模式优化神经网络，包括以下步骤：

S1、获取用于训练的含有多种类别的图片样本的数据集，并定义算法目标；

S2、用通用模型提取数据集中每类图片的特征，并根据每类特征的分布情况评估各个类别易错的程度；

S3、将整个数据集中的易错程度最高的若干类数据加入预先置空的训练池，并用训练池中的数据优化神经网络；

S4、上一轮优化完成后，将未加入训练池的剩余数据集中易错程度最高的若干类数据继续加入训练池，扩张训练池中的类别，并在上一轮训练得到的神经网络的基础上用扩张后的训练池进一步优化神经网络；

S5、不断重复步骤S4对训练池进行类扩张和神经网络优化，直至整个数据集都被加入训练池并完成最后一轮神经网络优化，得到最终优化后的神经网络模型；

步骤S1的具体实现步骤包括：

S11：获取包含M个类别的多类别数据集D：

D＝C₁∪C₂...∪C_M

其中，C_m表示第m个类别的数据，m＝1，2，...，M；

每个类别数据C_m中包含N_m个图片样本x以及他们对应的标签y：

其中，表示第m个类别的数据C_m中第i个图片样本，y^m表示第m个类别的数据C_m的标签，i∈{1，2，...，N_m}；

S12：定义的算法目标为：通过优化loss函数l(·，·)得到神经网络模型f(·；θ)在数据集D上的最优参数θ^*：

θ^*＝arg min_θ∑_(x，y)∈Dl(f(x；θ)，y)；

步骤S2具体实现步骤包括：

S21、用一个通用模型g(·)提取数据集中每类图片中每幅图片的特征：

s.t.{x，y)∈C_m

其中，表示第m个类别中图片样本x的特征；

S22、计算出每个类别中所有图片的特征的均值：

其中，u^m表示第m个类别中所有图片样本的特征均值；

S23、根据每张图片距离本类类中心距离和距离其他类别类中心距离来评估每个类别的易错程度：

其中，S(C_m)表示第m个类别的易错程度；

S24、根据S(C_m)从大到小的程度对数据集D重新排序，得到有序数据集D_ord：

其中，表示数据集D中易错程度从大到小排名第m位的类别对应的数据。

2.如权利要求1所述的基于类扩张学习的神经网络模型优化方法，其特征在于，步骤S3的具体实现步骤包括：

S31、将有序数据集D_ord中的M类数据按照排序顺次分为K组，每组个类别；在有序数据集D_ord中选择个易错程度最高的类别的数据加入空训练池得到第一次类扩张后的训练池

S32、通过优化loss函数l(·，·)对神经网络模型f(·；θ)进行第一轮优化，得到神经网络模型在训练池上的最优参数

3.如权利要求2所述的基于类扩张学习的神经网络模型优化方法，其特征在于，步骤S4的具体实现步骤包括：

S41、在第k轮优化神经网络前，从整个数据集D_ord未加入训练池的数据中，选择个易错程度最高的类别的数据加入训练池得到类扩张后的训练池

其中为新加入训练池的个类别的数据；

S42、在上一个阶段最优参数的基础上通过优化loss函数l(·，·)，得到第k轮优化后神经网络模型在训练池上的最优参数

4.如权利要求3所述的基于类扩张学习的神经网络模型优化方法，其特征在于，步骤S5的具体实现步骤包括：

S51、不断重复步骤S4对训练池进行类扩张和神经网络优化，在最后一轮优化时，将整个数据集D_ord中未加入训练池中的个类别的数据加入训练池得到类扩张后的训练池此时训练池为整个数据集D_ord：

其中为新加入训练池的个类别的数据；

S52、在上一个阶段最优参数的基础上通过优化loss函数l(·，·)，得到第K轮优化后神经网络模型在训练池上的最优参数

其中，最终优化后的神经网络模型的参数θ^*即在训练池上的最优参数