[发明专利]利用增强神经网络的转移学习

权利要求书

1.一种方法，包括：

选择用于以具有子模型的增强模型配置进行操作的预训练模型；

使用处理器和存储器，使用与第二域对应的训练数据来训练所述子模型，其中所述预训练模型被训练以对第一域的数据进行操作；以及

用所述子模型对所述预训练模型进行增强以形成所述增强模型配置，所述增强包括：

将从所述预训练模型中的层输出的第一特征图与从所述子模型中的层输出第二特征图组合以形成组合特征图；以及

将所述组合特征图输入到所述子模型中的不同层中。

2.根据权利要求1所述的方法，还包括：

作为所述组合的一部分，将所述第一特征图和所述第二特征图级联。

3.根据权利要求1所述的方法，还包括：

调节原始特征图的维度，所述原始特征图是来自所述预训练模型中的所述层的原始输出，所述调节导致在所述组合中使用的所述第一特征图。

4.根据权利要求3所述的方法，其中所述调节包括减小所述原始特征图的所述维度。

5.根据权利要求4所述的方法，其中所述减小包括将1×1卷积应用于所述原始特征图。

6.根据权利要求1所述的方法，其中所述子模型根据选自包括以下各项的一组因素中的至少一个因素而小于所述预训练模型：(i)所述子模型中的节点的总数，以及(ii)所述子模型中的层的总数。

7.根据权利要求1所述的方法，其中所述子模型根据模型参数的总数而小于所述预训练模型。

8.一种系统，包括

处理器；以及

与所述处理器通信的存储器，所述存储器包含程序指令，所述程序指令在由所述处理器执行时，被配置为引起所述处理器执行根据权利要求1至7中的任一项所述的方法的步骤。

9.一种计算机程序产品，所述计算机程序产品包括计算机可读存储介质，所述计算机可读存储介质具有利用其被体现的程序指令，所述程序指令由计算机可执行以引起所述计算机执行根据权利要求1至7中的任一项所述的方法的步骤。

10.一种装置，包括用于执行根据权利要求1至7中的任一项所述的方法的步骤的装置。

11.一种方法，包括：

选择用于以具有子模型的增强模型配置进行操作的预训练模型；

使用处理器和存储器，使用与第二域对应的训练数据来训练所述子模型，其中所述预训练模型被训练以对第一域的数据进行操作；以及

用所述子模型对所述预训练模型进行增强以形成所述增强模型配置，所述增强包括：

调节从所述预训练模型中的层输出的第一特征图中的通道的关注值，其中所述调节引起所述第一特征图中的所述通道的第一特征矩阵相对于所述第一特征图中的不同通道的第二特征矩阵具有更大权重；

将所述第一特征图中的所述通道的第一特征矩阵与从所述子模型中的层输出的第二特征图组合以形成组合特征图；以及

将所述组合特征图输入到所述子模型中的不同层中。

12.根据权利要求11所述的方法，还包括：

调节从所述子模型中的层输出的第二特征图中的第二通道的第二关注值，其中所述调节所述第二关注值引起所述第二特征图中的所述第二通道的第一特征矩阵相对于所述第二特征图中的不同的第二通道的第二特征矩阵具有更大权重，并且其中所述组合将所述第二特征图中的所述第二通道的所述第一特征矩阵与所述第一特征图中的所述通道的所述第一特征矩阵组合。

13.根据权利要求11所述的方法，还包括：

将缩放因子应用于来自所述第一特征图和所述第二特征图中的至少一者的多个加权特征矩阵。