[发明专利]一种模型迁移训练方法、装置、设备及存储介质

说明书

本申请公开了一种模型迁移训练方法、装置、设备及存储介质，涉及人工智能领域。具体实现方案为：将源模型中至少两个迁移层的网络参数作为目标模型中关联的迁移层的初始参数；根据所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数；基于所述目标函数，对包括有初始参数的目标模型进行训练。本申请实施例通过在构建目标函数时，引入迁移层的训练参数与初始参数之间的距离，从而在模型训练过程中，兼顾各迁移层的模型迁移和训练情况，实现了对源模型的信息的继承以及目标模型的自适应，避免了模型迁移训练过程中的过拟合现象，提高了目标模型的泛化能力。

技术领域

本申请涉及计算机技术，尤其涉及人工智能领域，具体涉及一种模型迁移训练方法、装置、设备及存储介质。

背景技术

迁移学习可以利用数据、任务或模型之间的相似性，将源领域(也即旧领域)训练好的源模型应用到目标领域(也即新领域)的目标模型中，从而在目标模型训练过程中，降低对海量数据资源的要求并且解决训练任务的高成本问题。

现有技术在进行目标模型的模型训练时，采用源模型的网络参数对目标模型的网络参数进行初始化，替代随机初始化，并对初始化后的目标模型进行再训练。

然而上述方式训练得到的目标模型的泛化能力较差，容易出现过拟合现象。

发明内容

本申请实施例提供了一种模型迁移训练方法、装置、设备及存储介质，以提高目标模型的泛化能力，避免出现过拟合现象。

第一方面，本申请实施例提供了一种模型迁移训练方法，包括：

将源模型中至少两个迁移层的网络参数作为目标模型中关联的迁移层的初始参数；

根据所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数；

基于所述目标函数，对包括有初始参数的目标模型进行训练。

本申请实施例通过将源模型中至少两个迁移层的网络参数作为目标模型中关联的迁移层的初始参数；根据至少两个迁移层关联的训练参数与初始参数之间的距离，构建目标函数；基于目标函数对包括有初始参数的目标模型进行训练。上述技术方案通过在构建目标函数时，引入迁移层的训练参数与初始参数之间的距离，从而在模型训练过程中，兼顾各迁移层的模型迁移和训练情况，实现了对源模型的信息的继承以及目标模型的自适应，避免了模型迁移训练过程中的过拟合现象，提高了目标模型的泛化能力。

可选的，根据所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数，包括：

根据所述至少两个迁移层的权重，以及所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数。

上述申请中的一个可选实施方式，通过在目标函数构建过程中，引入迁移层的权重，从而在网络层次上兼顾不同迁移层的信息保留能力，进而在防止迁移过拟合的前提下，有效提升迁移学习的准确度。

可选的，根据所述至少两个迁移层的权重，以及所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数之前，还包括：

根据所述迁移层在模型中的网络层级信息，确定所述迁移层的权重。

上述申请中的一个可选实施方式，通过在构建目标函数之前，追加根据迁移层在模型中的网络层级信息，确定迁移层的权重，从而完善了迁移层权重的确定机制，避免了训练过程学习过强，导致的对浅层特征信息的破坏，同时避免了训练过程学习过弱而导致深层特征信息丢失的情况。

可选的，根据所述迁移层在模型中的网络层级信息，确定所述迁移层的权重，包括：

确定所述迁移层所属网络块的序号；

根据所述迁移层所属网络块的序号，确定所述迁移层的权重。