[发明专利]一种基于多源域的任务拆分迁移学习预测方法在审
申请号: | 201710189728.7 | 申请日: | 2017-03-28 |
公开(公告)号: | CN107103364A | 公开(公告)日: | 2017-08-29 |
发明(设计)人: | 王成龙;吴悦 | 申请(专利权)人: | 上海大学 |
主分类号: | G06N99/00 | 分类号: | G06N99/00 |
代理公司: | 上海上大专利事务所(普通合伙)31205 | 代理人: | 陆聪明 |
地址: | 200444*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 多源域 任务 拆分 迁移 学习 预测 方法 | ||
1.一种基于多源域的任务拆分迁移学习预测方法,其特征在于,具体步骤如下:
步骤1:通过分析目标域的特征项所涉及的领域划分成对应的子域,进而划分出子域对应的子任务,实现对目标任务的拆分,其中以特征量为关联因子来量化相应子任务的重要程度,实现目标任务拆分后的集成;
步骤2:特征映射域关联,利用子任务对应的子域中所需的特征项,与源域建立特征关联,以特征映射的方式建立共享特征空间;
步骤3:基于多源域中子任务模型的构建,结合多任务学习的方法选取基本学习器进行训练,以迭代的方式训练源域数据并更新模型参数,降低子模型误差,及时优化拟合子模型;
步骤4:迁移子任务模型集成目标任务模型,完成目标任务的初始预测模型的构建;
步骤5:跨领域迁移和预测,迁移初始目标任务模型F0(x)预测并优化,以梯度提升的方法快速拟合最终模型,完成最终预测任务。
2.根据权利要求1所述的基于多源域的任务拆分迁移学习预测方法,其特征在于,所述步骤1中的任务拆分和任务重要程度,具体为:
步骤1.1:任务关联拆分,首先,根据目标域中复杂的特征项对目标域进行拆分,目标域划分成多个关联的子域,以此将目标任务拆分成对应子域的多个子任务,任务拆分表示成加和的形式,即
步骤1.2:计算子任务对应目标任务的重要程度,即权重其中表示子任务对应子域的所需特征量,nT表示目标域训练所需的特征量。
3.根据权利要求1所述的基于多源域的任务拆分迁移学习预测方法,其特征在于,所述步骤2中的基于特征映射的域关联选取,利用子域中所需的特征项,通过特征映射的方式,建立子域和源域间的共享特征空间,实现子任务的特征关联。
4.根据权利要求1所述的基于多源域的任务拆分迁移学习预测方法,其特征在于,所述步骤3中的多源域子任务模型的构建包括迭代次数的选取和模型参数的更新。
5.根据权利要求1所述的基于多源域的任务拆分迁移学习预测方法,其特征在于,所述步骤4中的目标任务模型的集成,具体为:
步骤4.1:基于子模型关联特征项迁移共享参数模型,多源域中训练出的对应子任务模型表示成其中,为共享参数模型,为非共享参数模型,迁移子任务模型中的共享参数模型以帮助完成目标任务,其中,共享参数模型是由步骤1.1所述的特征项训练得到;
步骤4.2:结合步骤1.2计算出的对应子任务模型权重以及共享参数模型集成构建出初始目标任务模型,表示成为:
6.根据权利要求1所述的基于多源域的任务拆分迁移学习预测方法,其特征在于,所述步骤5中的跨领域目标任务迁移和预测,迁移后的初始任务模型通过梯度提升的方式进行优化,这里采用Gradient Boosting技术方法,考虑到模型训练过程中的稳定和健壮性,选取更具稳健的胡波损失函数函数,即,
通过梯度下降快速实现损失函数误差最小化,以求得最优预测模型,其负梯度更新表示为,
此过程中选择δ特定值为常数1,即δ=1,模型参数梯度优化使得最终预测模型快速拟合,提高预测泛化能力。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海大学,未经上海大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710189728.7/1.html,转载请声明来源钻瓜专利网。