[发明专利]一种基于最优子空间学习的异构迁移学习方法在审
申请号: | 201910825981.6 | 申请日: | 2019-09-03 |
公开(公告)号: | CN110705591A | 公开(公告)日: | 2020-01-17 |
发明(设计)人: | 吴庆耀;闫玉光;毕朝阳 | 申请(专利权)人: | 华南理工大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08;G06N20/00 |
代理公司: | 44102 广州粤高专利商标代理有限公司 | 代理人: | 何淑珍;江裕强 |
地址: | 510640 广*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 异构迁移 目标函数 子空间 学习 参数变量 等价转化 迭代更新 关联分析 简化模型 交替方向 模型分类 实际场景 数据标注 损失函数 特征空间 优化问题 知识迁移 目标域 强分类 分类 求解 映射 构建 源域 收敛 数据库 取出 场景 关联 更新 应用 表现 | ||
1.一种基于最优子空间学习的异构迁移学习方法,其特征在于包括以下步骤:
S1:从数据库中获取用于迁移学习的源域和目标域数据,并基于典型关联分析方法构建目标函数为最优子空间与分类学习相结合的模型;
S2:将已得到的模型进行合理地等价转化,使问题求解得到简化,并初始化模型参数,设定惩罚系数、平衡系数超参数;
S3:根据提出的模型得到目标域中未标记数据的假类标,并对模型的参数进行迭代优化以更新模型与假类标;
S4:重复步骤S2中直到算法收敛,得到最终的模型,使用最终的模型对所有未标记的目标域数据进行预测。
2.根据权利要求1所述的一种基于最优子空间学习的异构迁移学习方法,其特征在于:步骤S1中,所述获取源域和目标域数据及构建模型的步骤为:
S11:从数据库中取出数据,分为源域和目标域数据,其中源域数据表示为:
此处S代表源域,nS为数据个数,yS,i∈{1,...,K}为类别空间,数据维度为dS;目标域数据仅有少量有类别标记,其中已标记的数据表示为L代表目标域的有标记样本空间,nL为该空间数据个数,yL,i∈{1,...,K}为类别空间;未标记数据表示为U代表目标域的无标记样本空间,nU为该空间数据个数;目标域数据维度均为dT,两个域的类别空间一致,即两个域数据所属的可能类别相同;
S12:基于典型关联分析方法,找出两个域最关联的特征映射子空间,即从源域和目标域中分别选出n个数据映射到领域共享空间dC中,使得两个域的数据相关性最大,典型关联分析方法的目标函数表示为:
其中XS和XT分别为在源域χS和有标注目标域χL中取得的样本矩阵,维度分别为dS×n和dT×n,I为单位矩阵,P和Q分别为源域数据和目标域数据的特征映射矩阵,由于优化问题常表示为最小化,典型关联分析方法的目标函数可转化为:
其中指矩阵的Frobenius范数的平方。
S13:利用步骤S12中获得的映射矩阵P,将已标记的目标数据的特征进行维度扩充。对于第i个有标注目标域数据样本xL,i,用上标~表示其维度扩充后的数据形式,即维度为dC+dT,利用扩充后的数据构建相应的交叉熵损失模型,其损失为:
其中K是类别总数,wk与wyL,i是模型参数;
因此,可将无标记的目标域数据也进行维度扩充扩充后的未标注目标域数据可以通过上述交叉熵损失模型进行获得预测类标同样地,利用该模型获得无标记目标域样本的损失:
S14:将典型关联分析方法的目标函数与所求得的交叉熵分类损失函数加权相加,使得模型学习到的特征映射子空间能够实现两个域最相关且在目标域上分类能力最强的目标,
这里w是分类模型的参数,C为惩罚系数,γ为平衡系数,是人为设定的超参数;
得到的目标函数存在非凸优化和正交约束,不能直接求解,需进行合理等价转化。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于华南理工大学,未经华南理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910825981.6/1.html,转载请声明来源钻瓜专利网。