[发明专利]模型参数更新方法、模型参数更新装置和电子设备

说明书

本申请公开了一种模型参数更新方法、模型参数更新装置和电子设备，属于人工智能技术领域。该方法包括：基于多个任务推荐模型分别对应的损失函数值与所述多个任务推荐模型分别对应的优化器，确定目标更新梯度；基于所述目标更新梯度，更新所述多个任务推荐模型中的至少一个任务推荐模型的模型参数。

技术领域

本申请属于人工智能技术领域，具体涉及一种模型参数更新方法、模型参数更新装置和电子设备。

背景技术

目前，多任务模型在推荐领域应用越来越广泛。在广告推荐场景中，广告主的需求十分多样，例如包括：应用程序下载转化，用户注册转化，付费用户转化等。因此，在同一个推荐场景下，训练一个精度高的模型十分有必要，能够大大提升流量带来的收益。

在同一个推荐场景下，训练一个模型可以输出多个任务的得分。从而可以节省大量的线上服务器资源以及线下人力的开发运维成本，各个任务数据可以相互迁移补充，能充分利用该场景下丰富的用户行为数据。但是只训练一个模型时，各个任务推荐模型之间可能存在负迁移现象，进而影响各个任务的训练效果，例如：训练用户下载的任务，会影响到用户注册的任务效果，导致训练模型精度下降。

常用的解决方案是通过设计模型网络结构，给各个任务分配私有和共享的专用网络来训练任务推荐模型。而在训练过程中有的任务对应的梯度更新大，需要较大的参数更新幅度，有的任务更新慢，需要较小的参数更新幅度，因此，仅仅通过模型结构上的调整，并不能有效解决多任务推荐模型训练时的更新梯度差异过大而造成的负迁移问题。

发明内容

本申请实施例的目的是提供一种模型参数更新方法、模型参数更新装置和电子设备，能够解决多任务推荐模型训练时的负迁移问题。

第一方面，本申请实施例提供了一种模型参数更新方法，该方法包括：

基于多个任务推荐模型分别对应的损失函数值与所述多个任务推荐模型分别对应的优化器，确定目标更新梯度；

基于所述目标更新梯度，更新所述多个任务推荐模型中的至少一个任务推荐模型的模型参数。

第二方面，本申请实施例提供了一种模型参数更新装置，该装置包括：

第一确定模块，用于基于多个任务推荐模型分别对应的损失函数值与所述多个任务推荐模型分别对应的优化器，确定目标更新梯度；

第一更新模块，用于基于所述目标更新梯度，更新所述多个任务推荐模型中的至少一个任务推荐模型的模型参数。

第三方面，本申请实施例提供了一种电子设备，该电子设备包括处理器、存储器及存储在所述存储器上并可在所述处理器上运行的程序或指令，所述程序或指令被所述处理器执行时实现如第一方面所述的方法的步骤。

第四方面，本申请实施例提供了一种可读存储介质，所述可读存储介质上存储程序或指令，所述程序或指令被处理器执行时实现如第一方面所述的方法的步骤。

第五方面，本申请实施例提供了一种芯片，所述芯片包括处理器和通信接口，所述通信接口和所述处理器耦合，所述处理器用于运行程序或指令，实现如第一方面所述的方法。

在本申请实施例中，通过采用不同优化器输出的更新梯度来确定目标更新梯度，优化了任务推荐模型训练时更新梯度变化的过程，从而可以减小各个任务推荐模型在训练时更新梯度差异而造成的互相影响，进而可以缓解多任务推荐模型之间的负迁移问题；再根据目标更新梯度来更新任务推荐模型的模型参数，可以提升任务推荐模型的训练效果。

附图说明

图1是本申请实施例提供的模型参数更新方法的流程示意图；

图2是应用本申请实施例提供的模型参数更新方法的流程示意图；

图3是应用本申请实施例提供的模型参数更新方法的优化器组合网络示意图；