[发明专利]一种基于域自适应的多初始值元学习框架及方法在审
申请号: | 202110210507.X | 申请日: | 2021-02-25 |
公开(公告)号: | CN112734049A | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 陈政聿;王东林 | 申请(专利权)人: | 西湖大学 |
主分类号: | G06N20/00 | 分类号: | G06N20/00;G06N3/08 |
代理公司: | 无锡市汇诚永信专利代理事务所(普通合伙) 32260 | 代理人: | 李珍珍 |
地址: | 310000 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 自适应 初始值 学习 框架 方法 | ||
1.一种基于域自适应的多初始值元学习框架,其特征在于,包括:
跨域编码器,将输入数据通过共有编码器编码为共有特征向量,通过私有编码器编码为私有特征向量;
跨域调制网络,将共有特征向量编码为域公用调制向量,私有特征向量编码为域专用调制向量;
元分离网络,用于在源域和目标域中更新元学习器,其中元学习器的参数分为由域公用调制向量调制的参数公共部分和由域专用调制向量调制的参数私有部分。
2.根据权利要求1所述的一种基于域自适应的多初始值元学习框架,其特征在于,跨域编码器的损失函数的计算公式为:
Le=Lr+Ld+Ls;
重构误差损失函数Lr的具体公式如下:
该公式中,其中为输入数据,为对输入数据重构后的预测值,s为源域,t为目标域,d为输入数据的数量;
跨域差异损失函数Ld的具体公式如下:
其中为共有特征向量构成的矩阵,为私有特征向量构成的矩阵;
其中跨域相似损失函数如下:
其中mi为输入数据的领域标签,为输入数据的预测领域标签,NS是源域数据的数量,Nt是目标域数据的数量。
3.根据权利要求1所述的一种基于域自适应的多初始值元学习框架,其特征在于,跨域调制网络将共有特征向量编码为域公用调制向量的公式为:
其中为共有特征向量对应的域公用调制向量,ωg是跨域调制网络参数;
其中跨域调制网络将私有特征向量编码为域专用调制向量的公式为:
其中为私有特征向量对应的域专用调制向量,ωg是跨域调制网络参数。
4.根据权利要求1所述的一种基于域自适应的多初始值元学习框架,其特征在于,元分离网络的更新参数公共部分的公式如下:
其中为第i层网络的参数公共部分,为第i层网络的域公用调制向量,θci是第i层的元分离网络的参数公共部分,⊙是调制运算符;
元分离网络的更新参数私有部分的公式如下:
其中为第i层网络的参数私有部分,为第i层网络的域专用调制向量,是第i层的元分离网络的参数私有部分,⊙是调制运算符。
5.根据权利要求1所述的一种基于域自适应的多初始值元学习框架,其特征在于,元分离网络的参数公共部分为低层网络参数,不同任务的低层网络跨域共享以进行元学习和联合训练,并由域公用调制向量调制;元分离网络的参数私有部分为高层网络参数,特定于单个任务,由域专用调制向量调制。
6.一种基于域自适应的多初始值元学习方法,其特征在于,包括以下步骤:
初始化:随机初始化元分离网络参数、跨域编码器参数以及跨域调制网络参数;
数据采样:从源域和目标域数据中分别采样支持集和查询集数据;
自适应于支持集的元分离网络参数获取:将支持集数据输入跨域编码器,输出共有特征向量和私有特征向量;将共有特征向量和私有特征向量输入跨域调制网络,输出域公用调制向量和域专用调制向量;将域公用调制向量调制得到元分离网络参数公共部分,将域专用调制向量调制成元分离网络参数私有部分,得到调制后的元分离网络;将支持集数据输入调制后的元分离网络,计算第一网络梯度;将第一网络梯度用于更新元分离网络参数,得到自适应于支持集的元分离网络参数,遍历源域和目标域的支持集数据;
更新网络参数:根据查询集在自适应于支持集的元分离网络上的误差,计算第二梯度,并更新元分离网络参数公共部分,元分离网络参数私有部分,跨域编码器,跨域调制网络后回归进行自适应于支持集的元分离网络参数获取步骤,直到网络收敛,输出所有网络参数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于西湖大学,未经西湖大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110210507.X/1.html,转载请声明来源钻瓜专利网。