[发明专利]迁移学习方法、装置、设备及存储介质

说明书

本申请实施例公开了一种迁移学习方法、装置、设备及存储介质，其中，所述迁移学习方法包括：获取原始数据集和任务数据集；确定所述原始数据集在所述任务数据集所涉及的域上划分的目标子集；获取利用所述目标子集训练得到的第一网络模型；其中，所述第一网络模型为基于预训练模型和第一头部网络搭建的；所述预训练模型为利用所述原始数据集训练得到的；利用所述任务数据集，训练搭建的第二网络模型，得到完成训练的第二网络模型；其中，所述第二网络模型为基于所述第一网络模型和第二头部网络搭建的。

技术领域

本申请涉及但不限于计算机视觉技术领域，尤其涉及一种迁移学习方法、装置、设备及存储介质。

背景技术

大量实验证明，在大规模数据集上进行预训练的模型有很好的泛化能力。研究者尝试将具有强大表示能力的预训练模型迁移到下游任务上，从而提升下游任务指标。但实际在某些业务场景下，如下游数据量比较少的情况下，直接基于预训练模型微调会导致最终模型在某些类型的下游任务上表现比较差；或者在云端服务下，由于资源限制等原因，常常要求将预训练模型的骨干网络(backbone)层冻结，而只微调基于特定下游任务的头部网络(head)，以降低内存和计算量，但这亦会导致最终模型的表现下降。

发明内容

有鉴于此，本申请实施例至少提供一种迁移学习方法、装置、设备及存储介质。

本申请实施例的技术方案是这样实现的：

一方面，本申请实施例提供一种迁移学习方法，所述方法包括：

获取原始数据集和任务数据集；确定所述原始数据集在所述任务数据集所涉及的域上划分的目标子集；获取利用所述目标子集训练得到的第一网络模型；其中，所述第一网络模型为基于预训练模型和第一头部网络搭建的；所述预训练模型为利用所述原始数据集训练得到的；利用所述任务数据集，训练搭建的第二网络模型，得到完成训练的第二网络模型；其中，所述第二网络模型为基于所述第一网络模型和第二头部网络搭建的。

上述实施例中，首先获取源域的原始数据集和目标域的任务数据集，然后判定任务数据集属于原始数据集划分的哪个域，并确定在该相应域上对原始数据集划分的目标子集，再获取预先利用目标子集训练得到的第一网络模型，最后基于第一网络模型和第二头部网络搭建第二网络模型，对任务数据集进行迁移学习。从而能够复用预训练模型参数，实现基于参数知识的迁移学习。同时，在传统预训练结束之后先基于第一网络模型中的第一头部网络分别学习源域中各子数据集的基于域的参数，这些基于域的参数能够在下游迁移时达到一个特征选择的作用，从而减缓上下游数据集域差异较大所造成的模型直接迁移困难的情况。

在一些可能的实施例中，所述确定所述原始数据集在所述任务数据集所涉及的域上划分的目标子集，包括：对所述原始数据集进行聚类，得到N个域对应的子数据集；N为大于或等于2的整数；从所述N个子数据集中确定出与所述任务数据集属于同一个域的目标子集。

上述实施例中，首先通过聚类对原始数据集进行细化，划分为属于各个域的子数据集，再将任务数据集判定为原始数据集中某一个域的数据子集，从而在迁移时可以利用该域对应的已训练第一网络模型进行特征选择，减小原始数据集与任务数据集之间域差异太大导致的迁移效果下降的问题。

在一些可能的实施例中，所述从所述N个子数据集中确定与所述任务数据集属于同一个域的目标子集，包括：从所述N个子数据集对应的N个域中，确定所述任务数据集中每帧图像所属的域；按照所述任务数据集中各帧图像所属的域在所述N个域中的占比，确定所述任务数据集对应的目标域；将所述N个子数据集中所述目标域对应的子数据集作为所述目标子集。

上述实施例中，首先确定任务数据集中每帧图像属于N个域中的某一个特定域，然后通过统计任务数据集中所有图像占比最多的域为目标域，从而确定出目标域对应的子数据集为与所述任务数据集属于同一个域的目标子集。这样，能够准确判定任务数据集所在域对应于原始数据集中划分的目标域以及对应目标子集。