[发明专利]一种增量学习方法、装置及设备

说明书

本申请提供一种增量学习方法、装置及设备，该方法包括：将混合数据输入给原始任务模型得到第一特征向量，将混合数据输入给初始增量模型得到第二特征向量，所述混合数据包括目标生成器生成的虚拟数据和增量数据；基于第一特征向量和第二特征向量对初始增量模型的参数值进行调整，得到调整后增量模型；若调整后增量模型未收敛，则将调整后增量模型确定为初始增量模型，返回执行将混合数据输入给原始任务模型得到第一特征向量的操作；若调整后增量模型已收敛，则将调整后增量模型确定为已完成增量学习的目标增量模型。通过本申请的技术方案，可以有效缓解目标增量模型的灾难性遗忘，并保护数据隐私。

技术领域

本申请涉及人工智能技术领域，尤其涉及一种增量学习方法、装置及设备。

背景技术

机器学习是实现人工智能的一种途径，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、算法复杂度理论等多门学科。机器学习用于研究计算机如何模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。机器学习更加注重算法设计，使计算机能够自动地从数据中学习规律，并利用规律对未知数据进行预测。机器学习已经有了十分广泛的应用，如深度学习、数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、语音和手写识别等等。

增量学习是机器学习的一种学习方式，是指算法模型能够从不断新增的样本中学习到新知识，并能够保存大部分以前已经学习到的知识。但是，在进行增量学习时，通常会出现灾难性遗忘现象，灾难性遗忘是一种现象，是指随着增量任务的训练，算法模型在旧任务上的性能出现急剧下降的现象，即旧任务上的性能降低，也就是说，在模型的应用场景更换后，性能下降严重。

发明内容

本申请提供一种增量学习方法，所述方法包括：

获取目标生成器、原始任务模型和初始增量模型；所述原始任务模型基于原始数据训练得到，所述初始增量模型的网络结构与所述原始任务模型的网络结构相同，且所述初始增量模型的参数值与所述原始任务模型的参数值不同；

将混合数据输入给所述原始任务模型得到第一特征向量，将所述混合数据输入给所述初始增量模型得到第二特征向量；其中，所述混合数据包括所述目标生成器生成的虚拟数据、用于对初始增量模型进行增量学习的增量数据；

基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型；

若所述调整后增量模型未收敛，则将所述调整后增量模型确定为初始增量模型，返回执行将混合数据输入给所述原始任务模型得到第一特征向量的操作；

若所述调整后增量模型已收敛，则将所述调整后增量模型确定为已完成增量学习的目标增量模型，所述目标增量模型用于对待检测数据进行处理。

示例性的，所述基于所述第一特征向量和所述第二特征向量对所述初始增量模型的参数值进行调整，得到调整后增量模型，包括：基于所述第一特征向量和所述第二特征向量确定第一目标损失值；基于所述第一目标损失值对所述初始增量模型的参数值进行调整，得到所述调整后增量模型。

示例性的，所述基于所述第一特征向量和所述第二特征向量确定第一目标损失值，包括：基于特征差异化损失值确定所述第一目标损失值；或者，基于特征差异化损失值和类别交叉熵损失值确定所述第一目标损失值；其中：

所述特征差异化损失值的确定方式包括：确定所述第一特征向量与所述第二特征向量之间的距离，基于所述距离确定所述特征差异化损失值。

示例性的，所述类别交叉熵损失值的确定方式包括：将混合数据输入给所述原始任务模型得到K个类别分别对应的置信度，K为大于1的正整数；

从所有置信度中选取最大置信度，将最大置信度对应的类别确定为所述第一特征向量的伪标签，并将最大置信度确定为所述伪标签的目标置信度；