[发明专利]一种基于深度神经网络的连续学习统一框架

说明书

本发明提供的一种基于深度神经网络的连续学习统一框架，所述连续学习统一框架包括：通过深度神经网络的权重逐步学习若干个任务；所述学习若干个任务是通过非遗忘、正向传输、避免混淆和向后转移来学习的；并对学习每个任务的权重进行合并，并设置超参数b值。本发明通过该框架可以通过利用深度神经网络中的少量权重合并参数来演示所有属性；另外，框架的行为和机制与人类学习的行为和机制之间得出许多相似之处，如非遗忘、正向传输、避免混淆和向后转移。作为双向灵感的渠道，进一步了解机器和人类的连续学习。

技术领域

本发明属于机器学习技术领域，尤其涉及一种基于深度神经网络的连续学习统一框架。

背景技术

人类具有持续获得知识和技能的能力，可以根据新的经验对其进行完善，并在整个生命周期内跨领域转移它们。数十年来，人类的学习能力一直在启发着机器的学习方法，这项工作的目标是进一步扩大人类学习对机器的持续学习或终身学习的影响。目前，机器学习的方法通常是一开始就把所有的神经网络用上去，那么存在一些问题，比如现在需要通过深度神经网络学习一个比较难的任务，或者学习两个以上的任务，那么它一开始就从难的任务开始学习或者两个以上的任务同时学习，这样它学习的难度会很大，学习的东西也太多，需要的学习时间更长；再比如现在通过深度神经网络学习了第一个任务，在一段时间后发现还需要学习第二个任务，而深度神经网络的权重不够了可能也不知道，那么它在学习第二个任务的时候很可能就会把已学习的第一个任务覆盖。

为此，我们需要一个框架，该框架可以通过利用深度神经网络中的少量权重合并参数来演示所有属性。

发明内容

鉴于上述现有技术的不足之处，本发明的目的旨在解决现有技术中机器学习存在的上述问题。

为了达到上述目的，本发明采取了以下技术方案：

一种基于深度神经网络的连续学习统一框架，所述连续学习统一框架包括：

通过深度神经网络的权重逐步学习若干个任务；所述学习若干个任务是通过非遗忘、正向传输、避免混淆和向后转移来学习的；

并对学习每个任务的权重进行合并，并设置超参数b值。

对于本发明的改进，所述超参数b值的大小根据学习任务的需要设置。

对于本发明的改进，所述逐步学习若干个任务包括：

逐步学习第一个任务和学习第二个任务；

所述学习所述第一个任务为括根据所述第一个任务的知识点，选择第一数量的权重，来对所述第一个任务的知识点进行学习，并对所述第一数量的权重合并，并设置第一超参数b值；

所述学习所述第二个任务包括，若所述第二个任务里的知识点，有与所述第一个任务里的知识点部分相同，则所述第二个任务首先利用所述第二个任务里，与所述第一个任务里已学习相同知识点的权重，所述第二个任务里与所述第一个任务里不相同的知识点，则使用深度神经网络里其余的新的第二数量的权重，来对所述第二个任务里与所述第一个任务里不同的知识点进行学习，并对学习所述第二任务的权重合并并设置第二超参数b值。

对于本发明的改进，所述连续学习统一框架还包括：修剪所述深度神经网络的大小。

对于本发明的改进，所述连续学习统一框架还包括：选择性忘记，所述选择性忘记用于已经学习知识点的权重忘记已学习的任务或忘记已学习的知识点；使所述忘记已经学习知识点的权重可以重新利用，用来学习新的任务或知识。

对于本发明的改进，所述选择性忘记是通过启发式来选择需要忘记已学习的任务或忘记已学习的知识点。

对于本发明的改进，所述启发式是通过跟踪已学习的任务或已学习的知识点的使用频率来判断的。

与现有技术相比，本发明的有益效果：