[发明专利]一种训练迁移学习模型的方法及计算机存储介质

说明书

本发明涉及一种训练迁移学习模型的方法及计算机存储介质，其中，方法包括通过特征提取器对所述训练数据样本进行特征提取，得到所述训练数据样本的样本特征；将所样本述特征输入所述标签预测器，得到所述训练数据样本的种类标签概率，所述种类标签概率用于表征所述训练数据样本对应于每个种类标签的概率；将所述样本特征输入到所述k个子域判别器得到所述训练数据样本的域标签概率，所述域标签概率用于表征所述训练数据样本对应于所述源域或所述目标域的概率；基于所述种类标签概率和所述域标签概率构建目标函数；根据所述目标函数更新所述迁移学习模型的参数。本发明提供的所述训练迁移学习模型的方法有效减少负迁移现象的产生。

技术领域

本公开涉及机器学习技术领域，尤其涉及一种训练迁移学习模型的方 法及计算机存储介质。

背景技术

近年来，随着深度学习技术的发展，研究人员把深度学习技术应用到 皮肤病的辅助诊断中。一般的深度神经网络对训练模型用的数据集都有着 严格要求，比如数据集要足够大、数据样本要有标注等，这对一些数据量 较小或者无标注的数据集，在训练时很难达到相应的效果。正是因为上述 原因，研究人员采用了训练神经网络时对数据集没有以上严格要求的迁移 学习方法。传统迁移学习方法都是在已有网络模型基础上进行微调来迁移，所利用网络模型的预训练参数是在与源数据集相似度很低的数据集上训练 得到的，很容易把不相关的特征迁移到目标域上，导致负迁移现象的产生， 从而降低了训练网络模型的性能。

发明内容

鉴于上述现有技术的不足，本申请的目的在于提供一种一种训练迁移 学习模型的方法，旨在解决如何避免负迁移现象的产生。

本申请提供一种训练迁移学习模型的方法，所述迁移学习模型包括特 征提取器、标签预测器、域判别器，训练数据样本包括源域数据样本和目 标域数据样本，所述域判别器包括k个子域判别器，k等于所述源域数据样 本据对应种类标签的数量；

通过特征提取器对所述训练数据样本进行特征提取，得到所述训练数 据样本的样本特征；

将所样本述特征输入所述标签预测器，得到所述训练数据样本的种类 标签概率，所述种类标签概率用于表征所述训练数据样本对应于每个种类 标签的概率；

将所述样本特征输入到所述k个子域判别器得到所述训练数据样本的 域标签概率，所述域标签概率用于表征所述训练数据样本对应于源域或目 标域的概率；

基于所述种类标签概率和所述域标签概率构建目标函数；

根据所述目标函数更新所述迁移学习模型的参数。

可选地，所述基于所述种类标签概率和所述域标签概率构建目标函数 包括：

基于所述种类标签概率构建所述标签预测器的损失函数；

基于所述种类标签概率和所述域标签概率构建所述域判别器的损失函 数；

根据所述标签预测器的损失函数和所述域判别器的损失函数构建所述 目标函数。

可选地，所述根据所述目标函数更新所述迁移学习模型的参数包括：

根据所述标签预测器的损失函数更新所述标签预测器和特征提取器的 参数；

根据所述域判别器的损失函数更新所述域判别器的参数。

可选地，所述基于所述种类标签概率和所述域标签概率构建目标函数 包括：

基于所述种类标签概率构建所述标签预测器的损失函数；

基于所述种类标签概率构建所述标签预测器的条件熵函数；

基于所述种类标签概率和所述域标签概率构建所述域判别器的损失函 数；