[发明专利]一种记忆增强的连续学习神经网络模型的训练方法及装置在审
申请号: | 202110886523.0 | 申请日: | 2021-08-03 |
公开(公告)号: | CN113688882A | 公开(公告)日: | 2021-11-23 |
发明(设计)人: | 郭雨晨;戴琼海;丁贵广 | 申请(专利权)人: | 清华大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 张梦瑶 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 记忆 增强 连续 学习 神经网络 模型 训练 方法 装置 | ||
1.一种记忆增强的连续学习神经网络模型的训练方法,其特征在于,包括:
获取输入的训练数据,并对所述训练数据进行预处理;
将预处理后的训练数据输入至特征提取网络,输出所述训练数据对应的特征;
将所述训练数据对应的特征输入至分类网络,输出所述训练数据对应的类别向量;
建立记忆存储区域,将所述训练数据对应的特征中满足预设条件的目标特征存储至所述记忆存储区域;
根据所述特征提取网络、所述分类网络和所述记忆存储区域构建神经网络。
2.如权利要求1所述的训练方法,其特征在于,对所述训练数据进行预处理,包括:
将所述训练数据处理为通用格式的向量的形式,其中,n表示任务的序号,i表示在当前任务下的数据序号,j表示在当前数据下的向量分量。
3.如权利要求2所述的训练方法,其特征在于,将所述训练数据对应的特征中满足预设条件的目标特征存储至所述记忆存储区域,包括:
针对每个任务n,在所述记忆存储区域M中设置子记忆存储区域mn;
n个任务对应的记忆存储区域表示为:M={m1,m2,m3,……,mn}。
4.如权利要求1所述的训练方法,其特征在于,在根据所述特征提取网络、所述分类网络和所述记忆存储区域构建神经网络之前,还包括:
构建损失函数;
根据所述训练数据对应的特征和所述训练数据对应的类别向量,利用所述损失函数对所述特征提取网络和所述分类网络进行更新。
5.如权利要求1所述的训练方法,其特征在于,在将所述训练数据对应的特征中满足预设条件的目标特征存储至所述记忆存储区域之后,还包括:
针对当前任务m,将当前任务的向量通过所述特征提取网络得到根据所述当前任务m的同一标签下的数据,特征向量集合和所述特征向量集合对应的标签
计算所述特征向量集合中特征的均值和方差将计算出的所述均值、所述方差与所述标签存储至所述记忆存储区域中所述当前任务m的子记忆存储区域mm;
将所有任务m的k个不同类别均放入所述子记忆存储区域mm,以将所述当前任务m的记忆压缩存储至所述记忆存储区域中。
6.如权利要求5所述的训练方法,其特征在于,所述均值和方差的计算公式为:
将所有任务m的k个不同类别均放入所述子记忆存储区域mm中,得到:
7.如权利要求4所述的训练方法,其特征在于,在利用所述损失函数对所述特征提取网络和所述分类网络进行更新之后,还包括:
通过存储任务m特征的均值和方差,根据所述子记忆存储区域mm生成正态分布特征集
根据所述正态分布特征集生成记忆增强数据;
根据所述记忆增强数据对所述分类网络进行训练更新。
8.一种图像分类方法,其特征在于,包括:
获取待分类图像的数据集;
将所述待分类图像的数据集输入至采用权利要求1-7任一项所述的记忆增强的连续学习神经网络模型的训练方法训练的神经网络,以输出所述待分类图像的分类标签。
9.一种记忆增强的连续学习神经网络模型的训练装置,其特征在于,包括:
获取模块,用于获取输入的训练数据,并对所述训练数据进行预处理;
特征提取模块,用于将预处理后的训练数据输入至特征提取网络,输出所述训练数据对应的特征;
分类模块,用于将所述训练数据对应的特征输入至分类网络,输出所述训练数据对应的类别向量;
创建模块,用于建立记忆存储区域,将所述训练数据对应的特征中满足预设条件的目标特征存储至所述记忆存储区域;
构建模块,用于根据所述特征提取网络、所述分类网络和所述记忆存储区域构建神经网络。
10.一种非临时性计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1-7任一项所述的记忆增强的连续学习神经网络模型的训练方法,或者,实现如权利要求8所述的图像分类方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110886523.0/1.html,转载请声明来源钻瓜专利网。