[发明专利]一种记忆增强的连续学习神经网络模型的训练方法及装置

说明书

本发明提出一种记忆增强的连续学习神经网络模型的训练方法及装置，其中，方法包括以下步骤：获取输入的训练数据，并对训练数据进行预处理；将预处理后的训练数据输入至特征提取网络，输出训练数据对应的特征；将训练数据对应的特征输入至分类网络，输出训练数据对应的类别向量；建立记忆存储区域，将训练数据对应的特征中满足预设条件的目标特征存储至记忆存储区域；根据特征提取网络、分类网络和记忆存储区域构建神经网络。本申请提出的方法在人脑记忆回放的启发下，利用简单的数据回放方法，通过存储数据的均值和方差的方式构建可扩展的记忆模块，实现对原有任务的记忆增强效果，解决连续学习问题中出现的对已学习任务的遗忘问题。

技术领域

本发明涉及计算机多媒体技术领域，尤其涉及一种图像分类技术。

背景技术

众所周知，人类可以在不遗忘原有知识的情况下，学会新的技能。而对现有的人工智能，尤其是深度神经网络来说，在学习新的知识时会出现灾难性遗忘问题。对于一个人工神经网络而言，在学习了新的技能情况下遗忘掉了之前习得的内容就叫做灾难性遗忘现象。连续学习即人工神经网络可以连续学习不同任务，克服随着任务数量增多，过往任务准确率不高的问题。所以，如何让人工神经网络可以实现想人类一样的连续学习，克服遗忘问题，在学术和应用领域都十分重要。

目前，已经有不少前沿研究开展了连续学习问题的研究工作。机器学习、计算机领域的顶级会议NeurIPS、ICML、CVPR相继举办了持续学习的Workshops，进行研讨交流。现有连续学习分为三种解决思路。第一种是从数据角度出发。这种解决思路是存储关于过去的任务样本，在新任务中加入样本重演。第二种是从神经网络更新方式出发。这种解决思路主要在损失函数中加入正则项，限制模型更新方向。这种解决思路第三种则是从神经网络结构出发。这种解决思路针对不同任务设计不同网络结构与掩码。虽然现有连续学习研究已经取得了突破性进展，但是距离真正的解决灾难性遗忘问题还有很大距离。在模型学习数量较多以及存储空间大小的限制情况下，现有解决方法很难取得十分有效的结果。

同时，现有连续学习方法与人脑记忆模式和深层次的遗忘原因等因素没有进行结合。在人脑中有相应的海马体存储记忆，而人工神经网络缺失记忆模块。人脑缺少记忆模块，将产生遗忘甚至无法记忆的情况。神经网络产生遗忘的深层次原因也是如此，所以如何构建记忆模块进行记忆增强并将海马体的概念引入连续学习领域是一个重要的课题与解决思路。

发明内容

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的第一个目的在于提出一种记忆增强的连续学习神经网络模型的训练方法，以实现在人脑记忆回放的启发下，实现对原有任务的记忆增强效果，解决连续学习问题中出现的对已学习任务的遗忘问题。

本发明的第二个目的在于提出一种图像分类方法。

本发明的第三个目的在于提出一种记忆增强的连续学习神经网络模型的训练装置。

本发明的第四个目的在于提出一种非临时性计算机可读存储介质。

为达上述目的，本发明第一方面实施例提出了一种记忆增强的连续学习神经网络模型的训练方法，包括以下步骤：

获取输入的训练数据，并对所述训练数据进行预处理；

将预处理后的训练数据输入至特征提取网络，输出所述训练数据对应的特征；

将所述训练数据对应的特征输入至分类网络，输出所述训练数据对应的类别向量；

建立记忆存储区域，将所述训练数据对应的特征中满足预设条件的目标特征存储至所述记忆存储区域；

根据所述特征提取网络、所述分类网络和所述记忆存储区域构建神经网络。

可选地，在本申请的一个实施例中，对所述训练数据进行预处理，包括：