[发明专利]用于具有深度特征化的主动迁移学习的系统和方法

说明书

例示了根据本发明的实施例的用于主动迁移学习的系统和方法。一个实施例包括一种用于训练深度特征化器的方法，其中该方法包括：训练主模型和一组一个或多个辅助模型，其中主模型包括一个或多个层的集合；冻结主模型的权重；从主模型生成一组一个或多个输出；并且在生成的一组输出上训练所述一组一个或多个正交模型。

相关申请的交叉引用

本申请要求于2018年10月23日提交的标题为“Systems and Methods for ActiveTransfer Learning with Deep Featurization”的美国临时专利申请No.62/749,653的权益和优先权。美国临时专利申请序列No.62/749,653的公开内容通过引用整体并入本文。

技术领域

本发明一般而言涉及用于机器学习模型的学习，并且更具体地涉及具有深度特征化的主动迁移学习(active transfer learning)。

背景技术

监督式机器学习(ML)是用于将表示输入样本的输入特征映射到地面真值输出标签的一系列功能形式和优化方案的统称。深度神经网络(DNN)表示通过学习与中间神经网络层中手头的预测任务相关的特征而频繁超越前代ML方法的一组功能形式。

深度神经网络通过采用特征学习而非特征工程设计来频繁超越其前身。传统的监督式机器学习(ML)技术训练将固定的(常常是手工制作的)特征映射到输出标签的模型。相比之下，深度神经网络工作常常将输入的更基本特征化——图像的像素的网格、自然语言的一键编码单词——作为输入，并“学习”神经网络的中间层中与手头任务最直接相关的特征。训练神经网络的高效手段可能难以识别，特别是跨不同的领域和应用。

发明内容

例示了根据本发明的实施例的用于主动迁移学习的系统和方法。一个实施例包括一种用于训练深度特征化器的方法。该方法包括以下步骤：训练主模型和一组一个或多个辅助模型，其中主模型包括一个或多个层的集合；冻结主模型的权重；从主模型生成一组一个或多个输出；并且在生成的一组输出上训练一组一个或多个正交模型。

在另一个实施例中，训练主模型包括训练主模型若干个时期。

在又一个实施例中，每个时期包括在若干个数据集上训练主模型和所述一组辅助模型。

在又一个实施例中，生成一组一个或多个输出包括通过主模型传播若干个数据集。

在又一个实施例中，若干个数据集中的每个数据集具有针对该数据集的输入的不同特点的标签。

在又一个实施例中，该方法还包括用于验证主模型和所述一组正交模型的步骤。

在另一个附加实施例中，验证所述一组正交模型包括计算所述一组正交模型的袋外分数(out of bag score)。

在另一个附加实施例中，验证所述一组正交模型包括：在包括训练数据集和验证数据集的主数据集上训练主模型、在训练数据集上训练所述一组正交模型，并且基于验证数据集计算正交模型的验证分数。

再次在另一个实施例中，生成的一组输出是主模型的层。

再次在另一个实施例中，所述一组正交模型包括随机森林和支持向量机中的至少一种。

在又一个实施例中，训练主模型包括训练主模型多个时期，其中该方法还包括以下步骤：对于每个特定的正交模型，通过验证主模型和该特定的正交模型来识别多个时期中的最优时期。该方法还包括以下步骤：在最优时期将主模型和该特定的正交模型合成为复合模型，以对新的一组输入进行分类。

在又一个实施例中，所述一组辅助模型中的至少一个辅助模型是包括一个或多个层的集合的神经网络。