[发明专利]迁移学习方法、装置、设备及存储介质在审
申请号: | 202210600618.6 | 申请日: | 2022-05-30 |
公开(公告)号: | CN114912540A | 公开(公告)日: | 2022-08-16 |
发明(设计)人: | 黄俊钦;高梦雅;王宇杰 | 申请(专利权)人: | 上海商汤智能科技有限公司 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06V40/16;G06V10/774;G06V10/82;G06N3/04;G06N3/08 |
代理公司: | 北京派特恩知识产权代理有限公司 11270 | 代理人: | 李江;蒋雅洁 |
地址: | 200233 上海市徐*** | 国省代码: | 上海;31 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 迁移 学习方法 装置 设备 存储 介质 | ||
1.一种迁移学习方法,其特征在于,所述方法包括:
获取原始数据集和任务数据集;
确定所述原始数据集在所述任务数据集所涉及的域上划分的目标子集;
获取利用所述目标子集训练得到的第一网络模型;其中,所述第一网络模型为基于预训练模型和第一头部网络搭建的;所述预训练模型为利用所述原始数据集训练得到的;
利用所述任务数据集,对搭建的第二网络模型进行训练,得到完成训练的第二网络模型;其中,所述第二网络模型为基于所述第一网络模型和第二头部网络搭建的。
2.如权利要求1所述的方法,其特征在于,所述确定所述原始数据集在所述任务数据集所涉及的域上划分的目标子集,包括:
对所述原始数据集进行聚类,得到N个域对应的子数据集;N为大于或等于2的整数;
从所述N个子数据集中确定出与所述任务数据集属于同一个域的目标子集。
3.如权利要求2所述的方法,其特征在于,所述从所述N个子数据集中确定与所述任务数据集属于同一个域的目标子集,包括:
从所述N个子数据集对应的N个域中,确定所述任务数据集中每帧图像所属的域;
按照所述任务数据集中各帧图像所属的域在所述N个域中的占比,确定所述任务数据集对应的目标域;
将所述N个子数据集中所述目标域对应的子数据集作为所述目标子集。
4.如权利要求3所述的方法,其特征在于,所述从所述N个子数据集对应的N个域中,确定所述任务数据集中每帧图像所属的域,包括:
确定所述任务数据集中每帧图像与所述N个子数据集的类中心之间的第一距离;其中,所述类中心的取值为所述子数据集中所有数据在各维度上的平均值;
在存在所述第一距离满足预设阈值的目标类中心的情况下,确定所述每帧图像属于所述目标类中心对应的域。
5.如权利要求2至4任一项所述的方法,其特征在于,所述第一网络模型是通过以下步骤训练得到的:
利用所述原始数据集对骨干网络进行预训练,得到所述预训练模型;
针对所述每一个域对应的子数据集,在所述预训练模型的网络结构的基础上添加所述第一头部网络,得到搭建的相应域的第一网络模型;
利用所述每一个域对应的子数据集训练所述第一头部网络,得到已训练的所述第一网络模型。
6.如权利要求5所述的方法,其特征在于,所述利用所述每一个域对应的子数据集训练所述第一头部网络,得到已训练的所述第一网络模型,包括:
通过所述第一网络模型对所述子数据集进行处理,输出所述子数据集的预测结果;
基于所述子数据集的预测结果和所述子数据集携带的标签,确定所述子数据集通过所述第一网络模型的第一损失;
基于所述第一损失,在固定所述第一网络模型中骨干网络的参数的情况下,更新所述第一网络模型中所述第一头部网络的参数,直至所述第一损失达到收敛条件,得到已训练的所述第一网络模型。
7.如权利要求1至6任一项所述的方法,其特征在于,所述利用所述任务数据集,训练搭建的第二网络模型,以得到完成训练的第二网络模型,包括:
通过所述第二网络模型对所述任务数据集进行处理,输出所述任务数据集的预测结果;
基于所述任务数据集的预测结果和所述任务数据集携带的标签,确定所述任务数据集通过所述第二网络模型的第二损失;
基于所述第二损失,在固定所述第二网络模型中骨干网络的参数和所述第一头部网络的参数的情况下,更新所述第二网络模型中所述第二头部网络的参数,直至所述第二损失达到收敛条件。
8.如权利要求1至7任一项所述的方法,其特征在于,所述第二头部网络包括全连接层,所述方法还包括:
在所述第一网络模型的输出层之后,基于所述任务数据集添加所述全连接层,得到搭建的所述第二网络模型;所述全连接层的神经元数目符合所述任务数据集中数据的类别数。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于上海商汤智能科技有限公司,未经上海商汤智能科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210600618.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种锌离子检测试纸及其使用方法
- 下一篇:一种卷针、卷绕装置及卷绕机