[发明专利]模型训练方法、装置、设备、存储介质和程序产品

权利要求书

1.一种模型训练方法，包括：

在样本集合中获取本轮样本集输入至待训练模型中，并根据待训练模型的输出结果，计算本轮训练损失；

根据所述本轮训练损失，确定本轮扰动项，并将所述本轮扰动项加入至所述本轮样本集中，得到本轮对抗样本集；

使用所述本轮样本集和所述本轮对抗样本集共同对待训练模型进行训练，得到本轮训练模型；

将所述本轮训练模型确定为新的待训练模型后，返回在样本集合中获取本轮样本集输入至待训练模型中的操作，响应于满足结束训练条件，获取目标训练模型。

2.根据权利要求1所述的方法，其中，所述样本集合中的样本包括输入特征，以及与所述输入特征对应的标注数据；

根据所述本轮训练损失，确定本轮扰动项，包括：

根据所述本轮训练损失，对所述输入特征求梯度，得到梯度值；

对所述梯度值进行归一化处理，得到所述本轮扰动项。

3.根据权利要求1所述的方法，其中，使用所述本轮样本集和所述本轮对抗样本集共同对待训练模型进行训练，得到本轮训练模型，包括：

将所述本轮样本集和所述本轮对抗样本集共同输入至所述待训练模型中；

根据所述待训练模型的输出结果，计算总损失，所述总损失包括与所述本轮样本集对应的原始训练损失，以及与所述本轮对抗样本集对应的对抗训练损失；

基于所述总损失，通过梯度下降法调节所述待训练模型的参数，以得到所述本轮训练模型。

4.根据权利要求2所述的方法，其中，所述本轮扰动项的计算方式如下：

其中，η表示扰动项，x表示样本的输入特征，y表示与所述输入特征对应的标注数据，θ表示模型参数，∈表示添加扰动的最大强度，f(x；θ)表示待训练模型针对输入特征x的输出结果，L(f(x；θ)，y)表示所述待训练模型的本轮训练损失，g表示基于所述本轮训练损失，对所述输入特征x的梯度值，||g||₂表示梯度值的二范数。

5.根据权利要求3所述的方法，其中，所述总损失的计算方式如下：

其中，Loss_total表示总损失，表示与所述本轮对抗样本集对应的对抗训练损失，L(f(x；θ)，y)表示与所述本轮样本集对应的原始训练损失，α表示所述本轮对抗样本集贡献占比参数。

6.根据权利要求2所述的方法，其中，所述样本中的输入特征为：与用户行为数据匹配的多项词向量，所述样本中的标注数据为用户画像。

7.根据权利要求6所述的方法，在获取目标训练模型之后，还包括：

获取待识别用户的目标用户行为数据，并提取与所述目标用户的行为数据匹配的多项目标词向量；

将各所述目标词向量输入至所述目标训练模型中，并获取所述目标训练模型输出的，所述待识别用户的目标用户画像。

8.一种模型训练装置，包括：

损失计算模块，用于在样本集合中获取本轮样本集输入至待训练模型中，并根据待训练模型的输出结果，计算本轮训练损失；

对抗样本获取模块，用于根据所述本轮训练损失，确定本轮扰动项，并将所述本轮扰动项加入至所述本轮样本集中，得到本轮对抗样本集；

模型训练模块，用于使用所述本轮样本集和所述本轮对抗样本集共同对待训练模型进行训练，得到本轮训练模型；

目标模型获取模块，用于将所述本轮训练模型确定为新的待训练模型后，返回在样本集合中获取本轮样本集输入至待训练模型中的操作，响应于满足结束训练条件，获取目标训练模型。

9.根据权利要求8所述的装置，其中，所述样本集合中的样本包括输入特征，以及与所述输入特征对应的标注数据；

所述对抗样本获取模块，包括：

梯度值计算单元，用于根据所述本轮训练损失，对所述输入特征求梯度，得到梯度值；

扰动项计算单元，用于对所述梯度值进行归一化处理，得到所述本轮扰动项。