[发明专利]一种基于门控制机制的连续学习方法

说明书

本发明公开了一种基于门控制机制的连续学习方法，首先基于深度神经网络模型，针对当前任务建立相应的模型；其次根据新的任务建立新的特定的深度模型，并让新模型与原来任务模型间建立层间对应的连接，使得新旧模型同层特征间能够汇聚到新模型中；然后，在同层连接构建基于门控制的机制，对新旧任务间的特征关系进行学习，筛选旧任务中对新任务有用的信息；最后，建立好上述模型后，在新任务数据上训练模型。本发明是当前面向通用的任务易发生灾难性遗忘以及难以迁移其他任务知识条件下的一种有效、高精确性的、分布式的连续学习方法。

技术领域

本发明涉及一种基于门控制机制的连续学习方法，属于人工智能领域。

背景技术

近年来，深度学习技术在很多领域取得了瞩目的成就。然而，当前的深度学习模型主要面向封闭环境，针对特定任务来设计模型，尽管多任务模型能够执行多个任务，但是其假设任务具有很强的相关性，而且要求在收集有关任务的所有数据的条件下训练模型，加入新的数据需要将之前的数据进行保存并与新数据一起训练，会导致计算量的骤增和占用大量存储空间。面对真实开放环境，往往需要执行多个任务，需要智能体拥有像人一样能够逐步学习多个任务的能力，即连续学习。

连续学习主要涉及到两个问题：如何避免灾难性遗忘与如何将所学任务的知识迁移到新的学习任务中。灾难性遗忘主要是由于前面任务的参数空间在后续任务的学习中被破坏导致，分布式连续学习模型没有考虑到当前任务与前面任务的关系，简单地依靠转移矩阵将前面任务特征流引入到当前任务网络中。如果任务特征空间之间没有交叉，暴力地迁移无益于当前任务学习甚至对学习是有害的。因此，关键的问题是如何研究连续学习中任务的相关性，利用任务之间的关系对其他任务并入当前任务的特征进行过滤，从而控制不相关任务的负面影响。

发明内容

本发明的目的是提供一种基于门控制机制的连续学习方法，其能够有效克服灾难性遗忘的发生，自适应地将前面学习到的特征迁移到当前任务模型。

为了实现上述目的，本发明提供一种基于门控制机制的连续学习方法，包括如下步骤：

(1)针对当前任务，对数据进行预处理，并根据任务搭建相应的深度神经网络模型，包括基础模型与全连接层；

(2)固定前面任务模型的参数，并与当前模型在层级粒度上进行连接；

(3)在模型连接上建立迁移门，以控制迁移的特征的流入，完成自适应地将前面学习到的特征迁移到当前任务模型中；

(4)将数据输入到前面任务的模型和当前任务模型中，进行端到端的训练。

进一步地，步骤(1)中所述的对当前任务数据进行预处理，并根据任务搭建相应的神经网络模型，包括以下步骤：

对数据进行预处理，包括去均值和归一化，并采用翻转、随机裁剪、白化和随机旋转0-25度角的方式对数据进行扩增；

然后，根据任务类型搭建深度神经网络，包括输入层、卷积层构成的基础模型模块和全连接层和输出层构成的全连接层模块。

进一步地，步骤(2)中所述的固定前面任务模型的参数，并与当前模型在层级粒度上进行连接，包括以下步骤：

对每个任务单独建模，设计基于神经网络的多任务连续学习框架来避免灾难性遗忘；给定两个任务，在数据D_A上训练task A后将模型参数固定，在学习新的任务时，构建新的主干模型Model_B并初始化参数，同时与枝干模型Model_A侧连构建转移矩阵U，在新的数据集D_B上训练时，通过侧连将原模型在新的数据上提取的特征迁移到当前任务中，得到Model_B；具体形式如下：