[发明专利]优化语言语义理解模型方法、装置、设备及存储介质

权利要求书

1.一种优化语言语义理解模型的方法，其特征在于，所述方法包括：

获得语言语义理解模型在目标训练中的第一损失值；所述目标训练是利用目标领域的问句样本数据精调所述语言语义理解模型的训练；

根据所述第一损失值，对所述语言语义理解模型的输入层添加扰动；

获得添加扰动后的语言语义理解模型在所述目标训练中的第二损失值；

根据所述第二损失值，更新所述语言语义理解模型的参数，得到优化后的语言语义理解模型。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

获得多个所述问句样本数据；所述问句样本数据包括问句文本样本和所述问句文本样本对应的分类标记；

获得语言语义理解模型在目标训练中的第一损失值，包括：

将所述问句文本样本输入所述语言语义理解模型，得到第一预测分类；

计算所述第一预测分类和所述问句文本样本对应的分类标记的交叉熵损失，得到所述第一损失值。

3.根据权利要求1所述的方法，其特征在于，根据所述第一损失值，对所述语言语义理解模型的输入层添加扰动，包括：

根据所述第一损失值，计算对所述语言语义理解模型进行参数更新的第一梯度；

根据所述第一梯度，对所述语言语义理解模型的输入层添加扰动；

根据所述第二损失值，更新所述语言语义理解模型的参数，得到优化后的语言语义理解模型，包括：

根据所述第二损失值，计算对所述添加扰动后语言语义理解模型进行参数更新的第二梯度；

根据所述第二梯度，更新所述语言语义理解模型的参数，得到优化后的语言语义理解模型。

4.根据权利要求1或3所述的方法，其特征在于，获得添加扰动后的语言语义理解模型在所述目标训练中的第二损失值，包括：

将所述问句文本样本作为添加扰动后的输入层的输入，得到所述添加扰动后的输入层输出的对抗样本向量；

将所述对抗样本向量输入所述语言语义理解模型的分类层，得到第二预测分类；

计算所述第二预测分类和所述问句文本样本对应的分类标记的交叉熵损失，得到所述第二损失值。

5.根据权利要求3所述的方法，其特征在于，在根据所述第二损失值，计算对所述语言语义理解模型进行参数更新的第二梯度后，所述方法还包括；

累加所述第一梯度和所述第二梯度，得到累加梯度；

根据所述第二梯度，更新所述添加扰动后的语言语义理解模型的参数，得到优化后的语言语义理解模型，包括：

根据所述累加梯度，更新所述添加扰动后的语言语义理解模型的参数，得到优化后的语言语义理解模型。

6.根据权利要求3所述的方法，其特征在于，根据所述第一梯度，对所述语言语义理解模型的输入层添加扰动，包括：

根据所述第一梯度，确定扰动系统；

对所述输入层的原始梯度进行标准化；

将标准化后的输入层乘以所述扰动系统，得到扰动梯度；

对所述输入层的参数叠加所述扰动梯度。

7.一种优化语言语义理解模型装置，其特征在于，所述装置包括：

第一损失值获得模块，用于获得语言语义理解模型在目标训练中的第一损失值；所述目标训练是利用目标领域的问句样本数据精调所述语言语义理解模型的训练；

扰动添加模块，用于根据所述第一损失值，对所述语言语义理解模型的输入层添加扰动；

第二损失值获得模块，用于获得添加扰动后的语言语义理解模型在所述目标训练中的第二损失值；

参数更新模块，用于根据所述第二损失值，更新所述语言语义理解模型的参数，得到优化后的语言语义理解模型。