[发明专利]一种模型迁移训练方法、装置、设备及存储介质

权利要求书

1.一种模型迁移训练方法，其特征在于，包括：

将源模型中至少两个迁移层的网络参数作为目标模型中关联的迁移层的初始参数；

根据所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数；

基于所述目标函数，对包括有初始参数的目标模型进行训练。

2.根据权利要求1所述的方法，其特征在于，根据所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数，包括：

根据所述至少两个迁移层的权重，以及所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数。

3.根据权利要求2所述的方法，其特征在于，根据所述至少两个迁移层的权重，以及所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数之前，还包括：

根据所述迁移层在模型中的网络层级信息，确定所述迁移层的权重。

4.根据权利要求3所述的方法，其特征在于，根据所述迁移层在模型中的网络层级信息，确定所述迁移层的权重，包括：

确定所述迁移层所属网络块的序号；

根据所述迁移层所属网络块的序号，确定所述迁移层的权重。

5.根据权利要求4所述的方法，其特征在于，根据所述迁移层所属网络块的序号，确定所述迁移层的权重，包括：

基于权重函数，根据所述迁移层所属网络块的序号，确定所述迁移层的权重；其中，所述权重函数为所述网络块的序号的递减函数。

6.根据权利要求2所述的方法，其特征在于，根据所述至少两个迁移层的权重，以及所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数，包括：

根据各所述迁移层的训练参数与所述初始参数之间距离的加权和，确定迁移层的规则化项；

根据所述迁移层的规则化项和损失函数，构建所述目标函数。

7.根据权利要求6所述的方法，其特征在于，根据所述迁移层的规则化项和损失函数，构建所述目标函数，包括：

根据全连接层的训练参数，确定所述全连接层的规则化项；

根据所述迁移层的规则化项、所述全连接层的规则化项和损失函数，构建所述目标函数。

8.根据权利要求1-7任一项所述的方法，其特征在于，所述迁移层为图像特征提取层。

9.一种模型迁移训练装置，其特征在于，包括：

初始参数确定模块，用于将源模型中至少两个迁移层的网络参数作为目标模型中关联的迁移层的初始参数；

目标函数构建模块，用于根据所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数；

目标模型训练模块，用于基于所述目标函数，对包括有初始参数的目标模型进行训练。

10.根据权利要求9所述的装置，其特征在于，目标函数构建模块，包括：

目标函数构建单元，用于根据所述至少两个迁移层的权重，以及所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数。

11.根据权利要求10所述的装置，其特征在于，所述装置还包括：

权重确定模块，用于在根据所述至少两个迁移层的权重，以及所述至少两个迁移层关联的训练参数与所述初始参数之间的距离，构建目标函数之前，根据所述迁移层在模型中的网络层级信息，确定所述迁移层的权重。

12.根据权利要求11所述的装置，其特征在于，权重确定模块，包括：

网络块序号确定单元，用于确定所述迁移层所属网络块的序号；

迁移层权重确定单元，用于根据所述迁移层所属网络块的序号，确定所述迁移层的权重。