[发明专利]一种基于门控制机制的连续学习方法

权利要求书

1.一种基于门控制机制的连续学习方法，其特征在于，包括如下步骤：

(1)针对当前任务，对数据进行预处理，并根据任务搭建相应的深度神经网络模型，包括基础模型与全连接层；

(2)固定前面任务模型的参数，并与当前模型在层级粒度上进行连接；

(3)在模型连接上建立迁移门，以控制迁移的特征的流入，完成自适应地将前面学习到的特征迁移到当前任务模型中；

(4)将数据输入到前面任务的模型和当前任务模型中，进行端到端的训练；

其中，步骤(3)包括以下步骤：

设计Gate机制来判定任务间的关联关系，防止不相关任务间的特征流入来避免对学习新任务的干扰；

首先，当第k个任务对应的模型Model_k'第l-1层主干网络特征通过连接流入l层，同时前k-1个任务上一层信息也通过转移矩阵流入到该层并与主干网络的特征流汇合，在汇合前构建memory transfer cell，让特征先流入记忆迁移细胞单元；

在网络隐层之间，每个Memory Cell有一个内部状态其与主干模型直接相连用于接收模型上一层的状态，并与通过迁移门与其他枝干模型的隐藏层输出连接，通过门来控制其他各个任务流入当前任的累积信息，同时Memory Cell通过输出层产生l层的输出将信息传递到下一层网络；所有的输入都通过迁移门来控制，只有与任务相关的信息可以进入当前的Cell并更新到下一层；

定义一个记忆门来控制前面k-1个任务提取的特征流入第k个任务l层的memory cell该记忆门相当于一个掩膜，对任意与cell连接的特征流进行预处理，自适应地学习前面不同任务网络特征流入，从而过滤掉其他枝干流入主干的无关甚至冲突的信息；

定义如下：

其中σ(·)是sigmoid激活函数，其取值范围在[0,1]之间；与表示第i个任务l-1层的输出通过transfer matrix流入第k个任务；是主干模型l-1层到l层的参数；表示当前任务l-1层的记忆状态；

定义一个memory cell用来存储所有任务的累积信息，随着深度变化，通过联合上一层的所有侧连的输入与cell state完成更新；

其中表示逐个元素相乘，是侧连信息进入Cell前经过一层非线性变换的结果：

Memory Cell Output类似LSTM，完成cell更新后，需要据此计算该隐藏层的输出；

其中，和b_o是当前memory cell state下重新定义的输出权值和偏置；θ(·)是任意的激活函数。

2.根据权利要求1所述的方法，其特征在于，步骤(1)中所述的对当前任务数据进行预处理，并根据任务搭建相应的神经网络模型，包括以下步骤：

对数据进行预处理，包括去均值和归一化，并采用翻转、随机裁剪、白化和随机旋转0-25度角的方式对数据进行扩增；

然后，根据任务类型搭建深度神经网络，包括输入层、卷积层构成的基础模型模块和全连接层和输出层构成的全连接层模块。

3.根据权利要求1所述的方法，其特征在于，步骤(2)中所述的固定前面任务模型的参数，并与当前模型在层级粒度上进行连接，包括以下步骤：

对每个任务单独建模，设计基于神经网络的多任务连续学习框架来避免灾难性遗忘；给定两个任务，在数据D_A上训练task A后将模型参数固定，在学习新的任务时，构建新的主干模型Model_B并初始化参数，同时与枝干模型Model_A侧连构建转移矩阵U，在新的数据集D_B上训练时，通过侧连将原模型在新的数据上提取的特征迁移到当前任务中，得到Model_B；具体形式如下：

其中表示在学习k-1个任务后，学习第k个任务时l层隐藏层的输出；表示Model_k'中l-1层到l层的参数；表示Model_j第l-1激活值迁移到Model_k'同一层的连接。

4.根据权利要求1所述的方法，其特征在于，步骤(4)中所述的将数据输入到前面任务的模型和当前任务模型中，进行端到端的训练，包括以下步骤：

将预处理的数据，分别放到以前的模型和当前任务的模型进行训练，包括定义目标函数、优化方法、评价指标以及模型测试。