[发明专利]一种增量学习方法、装置、存储介质及电子设备

说明书

本申请实施例提供一种增量学习方法、装置、存储介质及电子设备，方法包括：将多个类别的第一样本进行分类均值计算，获得第一特征样本，混合第一特征样本与候选样本，获得第二样本，其中，候选样本用于第一神经网络模型的增量学习；冻结第一神经网络模型中的至少一个网络层，获得第一特征神经网络模型；使用第二样本对第一特征神经网络模型进行训练，获得第二神经网络模型。通过使用第一特征样本混合候选样本形成的第二样本进行训练，可以在保留大部分已经学习到的旧知识的基础上减少训练时间。

技术领域

本发明涉及深度学习技术领域，具体而言，涉及一种增量学习方法、装置、存储介质及电子设备。

背景技术

增量学习是深度学习相关技术使其应用在大数据场景时的需要考虑的重大问题。增量学习主要关注的是灾难性遗忘（Catastrophic forgetting），平衡新知识与旧知识之间的关系，即如何在学习新知识的情况下不忘记旧知识是增量学习研究和应用的主要关注点。现有技术中，一般会采取寻找神经网络中的重要参数，以保证这些重要的参数不会变化过大，并且允许不重要的参数更新；或者采取训练一个生成模型，在增量学习时，通过增加生成模型生成的伪造的旧知识来保证旧知识得到复习。

在实践中，考虑网络中的参数局部冻结，就要以更复杂的方式去寻找需要冻结的参数，这种方式反而会消耗大量时间；而通过增加生成模型的方式提高了维护生成模型的成本，且生成模型的生成样本不可靠。

发明内容

本发明的目的在于提供一种增量学习方法、装置、存储介质及电子设备，以有效的改善现有技术训练时间长，成本高的技术缺陷。

本发明通过以下技术方案实现：

第一方面，本申请实施例提供了一种增量学习方法，方法包括：将多个类别的第一样本进行分类均值计算，获得第一特征样本，混合第一特征样本与候选样本，获得第二样本，其中，候选样本用于第一神经网络模型的增量学习；冻结第一神经网络模型中的至少一个网络层，获得第一特征神经网络模型；使用第二样本对第一特征神经网络模型进行训练，获得第二神经网络模型。

结合第一方面，在第一种可能的实现方式中，将多个类别的第一样本进行分类均值计算，获得第一特征样本，包括：获得第一样本的类别数及第一样本中的每个类别所对应的样本数量；根据每个类别所对应的样本数量，对第一样本中的每个类别进行求平均值计算，获得与第一样本的类别数相等个数的中心向量；集合与第一样本的类别数相等个数的中心向量，获得第一特征样本。

结合第一方面，在第二种可能的实现方式中，混合第一特征样本与候选样本，获得第二样本，包括：判断候选样本的样本数量与第一特征样本的样本数量的比值是否大于1；若是，确定第一特征样本中的每个样本的重复次数为N，其中，N=（候选样本的样本数量/第一特征样本的样本数量）+1;混合重复N次的第一特征样本与候选样本，获得第二样本。

结合第一方面的第二种可能的实现方式中，在第三种可能的实现方式中，判断候选样本的样本数量与第一特征样本的样本数量的比值是否大于1，包括：若否，混合第一特征样本与候选样本，获得所述第二样本。

结合第一方面，在第四种可能的实现方式中，冻结第一神经网络模型中的至少一个网络层，包括：获得第一神经网络模型的网络层层数；根据对第一神经网络模型中的权重参数的保留程度，确定冻结第一神经网络模型中网络层的层数；其中，确定被冻结的第一神经网络模型的网络层层数小于第一神经网络模型的网络层总层数；根据确定的被冻结的第一神经网络模型的网络层层数，冻结第一神经网络模型，获得第一特征神经网络模型。

结合第一方面的第四种可能的实现方式中，在第五种可能的实现方式中，根据确定的被冻结的第一神经网络模型的网络层层数，冻结第一神经网络模型，获得第一特征神经网络模型包括：获得第一神经网络模型的网络层结构；根据确定的被冻结的所述第一神经网络模型的网络层层数，按照从顶层到底层的网络层结构关系，依次连续冻结第一神经网络模型，获得第一特征神经网络模型。