[发明专利]一种基于多源域的任务拆分迁移学习预测方法

说明书

技术领域

本发明涉及机器学习领域的迁移学习方向，特别是涉及一种基于多源域的任务拆分迁移学习预测方法。

背景技术

传统的机器学习预测方法并没有摆脱训练数据和测试数据独立同分布的约束条件，使得机器学习方法必须在样本数据独立同分布的前提假设条件下执行，然而，随着现实应用中大数据的普及，这种前提假设很难适应数据智能时代的发展。针对因训练样本稀缺导致的机器学习方法不适应跨领域学习，以及训练样本的采集和标注耗费代价昂贵的问题，迁移学习作为一种类人学习的技术方法得到广泛关注和研究发展。迁移学习不再限定源域和目标域数据独立同分布，实现跨领域学习，通过知识迁移再利用的方式完成目标任务，是一种非零基础学习的强智能学习方法。

迁移学习在人类学习过程中普遍存在，实现的是一种环境学到的知识、技术或方法对新环境目标任务学习的影响。迁移学习的研究中涉及到领域和任务其中和分别表示领域样本数据集x的d维特征空间和边缘概率分布，y和分别表示任务的样本类别y的类别空间和预测模型，预测模型可以理解并表示成条件概率分布，即作为迁移学习的核心因素，源领域和源任务与目标领域和目标任务的关联程度决定知识迁移的预测效果。在领域层面的知识迁移主要通过测量域的相似性来衡量其关联程度，提高域相似性的主要方法包括基于实例的样本抽取和基于特征的采样映射，多源域的引入可以有效解决因迁移不充分导致的欠迁移问题，更高程度地提升域之间的相似性，进而预防负迁移的发生。在任务层面的知识迁移主要通过测量任务的关联程度，主要方法包括模型迁移和部分参数迁移，通过任务拆分方法降低目标任务的复杂度，解决因模型复杂导致的过拟合问题，迁移模型参数的方法实现了非零基础的学习，在跨领域学习中体现出了知识再利用的优势。因此，在无高质量训练样本或样本稀缺的情况下，针对复杂目标任务训练出高效的预测模型很难实现。

发明内容

针对现有技术存在的缺陷，本发明的目的是提出一种基于多源域的任务拆分迁移学习预测方法，解决关联多领域复杂目标任务的预测问题，预防和避免跨领域迁移学习中出现的欠迁移和负迁移的发生，以任务拆分方法降低模型的复杂度，解决过拟合问题，提高模型的泛化能力。

为达到上述目的，本发明采用如下技术方案：

一种基于多源域的任务拆分迁移学习预测方法，具体步骤如下：

步骤1：通过分析目标域的特征项所涉及的领域划分成对应的子域，进而划分出子域对应的子任务，实现对目标任务的拆分，其中以特征量为关联因子来量化相应子任务的重要程度，实现目标任务拆分后的集成；

步骤2：特征映射域关联，利用子任务对应的子域中所需的特征项，与源域建立特征关联，以特征映射的方式建立共享特征空间；

步骤3：基于多源域中子任务模型的构建，结合多任务学习的方法选取基本学习器进行训练，以迭代的方式训练源域数据并更新模型参数，降低子模型误差，及时优化拟合子模型；

步骤4：迁移子任务模型集成目标任务模型，完成目标任务的初始预测模型的构建；

步骤5：跨领域迁移和预测，迁移初始目标任务模型F₀(x)预测并优化，以梯度提升的方法快速拟合最终模型，完成最终预测任务。

所述步骤1中的任务拆分和任务重要程度，具体为：

步骤1.1：任务关联拆分，首先，根据目标域中复杂的特征项对目标域进行拆分，目标域划分成多个关联的子域，以此将目标任务拆分成对应子域的多个子任务，任务拆分表示成加和的形式，即

步骤1.2：计算子任务对应目标任务的重要程度，即权重其中表示子任务对应子域的所需特征量，n_T表示目标域训练所需的特征量。

所述步骤2中的基于特征映射的域关联选取，利用子域中所需的特征项，通过特征映射的方式，建立子域和源域间的共享特征空间，实现子任务的特征关联。

所述步骤3中的多源域子任务模型的构建包括迭代次数的选取和模型参数的更新。

所述步骤4中的目标任务模型的集成，具体为：

步骤4.1：基于子模型关联特征项迁移共享参数模型，多源域中训练出的对应子任务模型表示成其中，为共享参数模型，为非共享参数模型，迁移子任务模型中的共享参数模型以帮助完成目标任务，其中，共享参数模型是由步骤1.1所述的特征项训练得到；

步骤4.2：结合步骤1.2计算出的对应子任务模型权重以及共享参数模型集成构建出初始目标任务模型，表示成为：