[发明专利]任务处理方法及装置、电子设备和存储介质在审
申请号: | 202011261159.0 | 申请日: | 2020-11-12 |
公开(公告)号: | CN112328398A | 公开(公告)日: | 2021-02-05 |
发明(设计)人: | 施路平;赵蓉;吴郁杰;刘发强;杨哲宇 | 申请(专利权)人: | 清华大学 |
主分类号: | G06F9/50 | 分类号: | G06F9/50;G06N3/04;G06N3/08 |
代理公司: | 北京林达刘知识产权代理事务所(普通合伙) 11277 | 代理人: | 刘新宇 |
地址: | 100084*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 任务 处理 方法 装置 电子设备 存储 介质 | ||
本公开涉及一种任务处理方法及装置、电子设备和存储介质,所述方法包括:将目标任务的待处理信息输入调制网络,获得与目标任务对应的调制信息;根据调制信息,从任务网络的多个网络节点中,确定出用于处理待处理信息的目标网络节点;通过目标网络节点对待处理信息进行处理,获得目标任务的处理结果。根据本公开的实施例的任务处理方法,可通过调制网络生成的调制信息对任务网络中用于处理任务的网络节点进行选择,可减少参数间的相互干扰,缓解灾难性遗忘,并且通过调制信息可提高相似任务中网络节点的复用率,提高网络参数的利用效率,并提高神经网络的训练效率。
本公开涉及计算机技术领域,尤其涉及一种任务处理方法及装置、电子设备和存储介质。
背景技术
连续学习指人工智能模型或系统(例如,神经网络)顺序的学习一系列任务,并且在学习新任务时不能使用已学任务的数据。这种学习范式适合数据连续不断输入的实际应用场景,是通用人工智能的基本要求。实现连续学习的关键是学得的新知识不能覆盖已学的旧知识,从而避免发生灾难性遗忘(catastrophic forgetting)。
在相关技术中,就神经网络的连续学习算法而言,一种方法是通过一定的正则化项来约束网络的参数,使神经网络在学习任务的同时,也能保持在已学任务上的良好性能。弹性权重固化(elastic weight consolidation)算法是这种方法的代表,它通过选择性的降低对已学任务重要的权重的学习率来克服灾难性遗忘。另外一种是通过一定机制为不同的任务动态分配不同的参数,使不同任务的参数减少耦合,从而避免重要参数在学习中被覆盖。场景依赖门控(context-dependent gating)算法是这种方法的代表,它通过在处理不同任务时随机掩蔽部分神经元来缓解学习新任务时对网络参数的干扰,减缓遗忘。场景依赖门控算法为不同任务分配一个随机的二值掩蔽向量,来控制隐层神经元的激活状态。在学习一个特定任务时,将根据该任务对应的掩蔽向量来关闭网络的部分神经元,从而避免与之相关的参数在学习这个任务时被修改。这相当于用不相交参数集合来处理不同的任务,减少参数间的相互干扰,缓解灾难性遗忘。然而,该方法只缓解了不相关任务间的参数干扰,没有利用任务相关性来复用网络参数,从而提高网络参数的利用效率。
发明内容
本公开提出了一种任务处理方法及装置、电子设备和存储介质。
根据本公开的一方面,提供了一种任务处理方法,包括:将目标任务的待处理信息输入调制网络,获得与所述目标任务对应的调制信息,所述目标任务是多个预设任务中的任意一个;根据所述调制信息,从任务网络的多个网络节点中,确定出用于处理所述待处理信息的目标网络节点;通过所述目标网络节点对所述待处理信息进行处理,获得所述目标任务的处理结果。
在一种可能的实现方式中,所述预设任务包括第一任务和第二任务,所述第一任务对应的调制信息与所述第二任务对应的调制信息的信息相似度,与所述第一任务和所述第二任务的任务相似度正相关。
在一种可能的实现方式中,所述预设任务包括第一任务和第二任务,所述第一任务对应的调制信息与所述第二任务对应的调制信息的信息相似度,与所述任务网络中的第一网络节点和第二网络节点中网络节点的重复率正相关,其中,所述第一网络节点为所述任务网络中用于处理第一任务的待处理信息的目标网络节点,所述第二网络节点为所述任务网络中用于处理第二任务的待处理信息的目标网络节点。
在一种可能的实现方式中,所述调制网络包括人工神经网络和脉冲神经网络中的任意一种,所述任务网络包括脉冲神经网络和人工神经网络中的任意一种。
在一种可能的实现方式中,所述方法还包括:将训练任务的训练样本输入所述调制网络,获得所述训练样本的第一训练调制信息,所述训练任务是多个任务中的任意一个;根据所述训练任务的多个训练样本的第一训练调制信息,获得所述训练任务的第二训练调制信息;根据所述第一训练调制信息和所述第二训练调制信息,训练所述调制网络。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011261159.0/2.html,转载请声明来源钻瓜专利网。