[发明专利]利用增强神经网络的转移学习

说明书

本申请的各实施例涉及利用增强神经网络的转移学习。选择用于以具有子模型的增强模型配置进行操作的预训练模型。使用与第二域对应的训练数据来训练子模型，而预训练模型被训练以对第一域的数据进行操作。通过将从预训练模型中的层输出的第一特征图与从子模型中的层输出的第二特征图组合，用子模型对预训练模型进行增强以形成增强模型配置。组合形成组合特征图。组合特征图被输入到子模型中的不同层中。

技术领域

本发明总体上涉及用于训练神经网络的方法、系统和计算机程序产品。更具体地，本发明涉及一种用于利用增强神经网络来进行转移学习的方法、系统和计算机程序产品。

背景技术

人工神经网络(ANN)(也简称为神经网络(NN))是由很多简单高度互连的处理元件(节点)组成的计算系统，这些处理元件(节点)通过其对外部输入的动态状态响应来处理信息。ANN是在哺乳动物大脑皮层的神经元结构之后被松散地建模但是规模要小得多的处理设备(算法和/或硬件)。大型ANN可能具有数百或数千个处理器单元，而哺乳动物的大脑具有数十亿个神经元，它们的整体交互和突发行为的大小对应地增加。

ANN用于多种数据分析目的，包括但不限于自然语言处理(NLP)、图像分析、各种类型的数据(诸如数字、文本、语音、图像或甚至噪声)的分类、以及很多其他应用。

前馈神经网络是其中单元之间的连接没有形成循环的人工神经网络。在机器学习中，卷积神经网络(CNN)是一种前馈人工神经网络，其中结点(神经元)之间的连接模式受到动物视觉皮层的组织的激发，动物视觉皮层的各个神经元被布置为响应于形成视野的重叠区域。卷积网络模仿生物过程，并且被配置为旨在在处理诸如数字图像等数据时使用最少预处理的多层感知器的变体。

循环神经网络(RNN)是一种人工神经网络，其旨在识别数据序列中的模式，诸如发源于传感器、股票市场和政府机构的文本、基因组、手写、口语或数字时间序列数据。RANN使用在网络拓扑中形成循环的递归连接(与“正常”信号流在相反方向上行进)。

深度神经网络(DNN)是在输入层与输出层之间具有多个隐藏单元层的人工神经网络。类似于浅层ANN，DANN可以对复杂的非线性关系进行建模。例如用于对象检测和解析的DNN架构生成合成模型，其中对象被表示为图像基元的分层合成。额外的层使得能够合成来自较低层的特征，以与类似地执行的浅层网络相比，具有用更少的单元来建模复杂数据的潜力。

通常，在ANN中，节点经由ANN层中的加权连接与一个或多个其他节点连接。通过将一个层的输出耦合到另一层的输入，可以将一个层连接到ANN中的另一层。

特征是被标识为在ANN的层中很重要的伪像或值。ANN的层在一个或多个输出通道上产生输出。ANN中的层输出特征图。特征图包括给定数目的通道上的每个通道的一组特征矩阵。特征矩阵包括一组特征，该组特征将作为数据矩阵被输出。特征矩阵包括与在矩阵中表示的对应特征相关联的偏差。权重或偏差是用于指示主题值的重要性的与主题值相关联的值。例如，相对较低加权的连接不如相对较高加权的连接重要，具有相对较高偏差的特征比具有相对较低偏差的另一特征更重要。

层接受由前一层作为输出而提供的特征图作为输入。接受层可以被配置为使得该层按原样接受提供层的特征图输出。替代地，接受层可以被配置为使得该层在诸如偏差改变、特征减少或在特征图被输入到接受层之前应用于特征图的其他操作等一些处理之后接受提供层的特征图输出。

必须先对ANN进行训练，然后才能将ANN用于有用目的。除非在使用时明确区分，否则经训练ANN在本文中也称为“模型”。

ANN训练使ANN经受经训练模型将在其中操作的类型和主题的训练数据。训练包括调节节点间连接的权重、层间连接的权重、用于在层处进行摄取的特征矩阵配置、层的输出处的特征图配置、特征矩阵中的特征加权或偏差、各层的输入/输出处的通道偏差、以及很多其他操作。