[发明专利]优化语言语义理解模型方法、装置、设备及存储介质

说明书

本申请提供了一种优化语言语义理解模型方法、装置、设备及存储介质，旨在提高语言语义理解模型的鲁棒性。所述方法包括：获得语言语义理解模型在目标训练中的第一损失值；所述目标训练是利用目标领域的问句样本数据精调所述语言语义理解模型的训练；根据所述第一损失值，对所述语言语义理解模型的输入层添加扰动；获得添加扰动后的语言语义理解模型在所述目标训练中的第二损失值；根据所述第二损失值，更新所述语言语义理解模型的参数，得到优化后的语言语义理解模型。

技术领域

本申请涉及自然语言理解技术领域，特别是涉及一种优化语言语义理解模型方法、装置、设备及存储介质。

背景技术

语言语义理解模型常用于FAQ(Frequently Asked Questions)任务，即智能客服业务中，用于将用户输入的问题转换为语义向量，以进一步根据语义向量确定用户输入的问题所在的分类，进而根据分类，在知识库中确定针对用户输入的问题的回答。

但在智能客服业务的应用场景中，知识库的域是垂直封闭的，取决于开发智能客服系统的公司或者个人需要支持的业务范围的大小，即，开发智能客服系统的公司的业务范围局限了训练样本数据的数量和种类。上述客观事实导致训练智能客服系统中的语言语义理解模型的训练样本较少，造成语言语义理解模型训练复杂，训练得到的语言语义理解模型鲁棒性不高等问题。

发明内容

本申请实施例提供一种优化语言语义理解模型方法、装置、设备及存储介质，旨在提高语言语义理解模型的鲁棒性。

本申请实施例第一方面提供一种优化语言语义理解模型方法，所述方法包括：

获得语言语义理解模型在目标训练中的第一损失值；所述目标训练是利用目标领域的问句样本数据精调所述语言语义理解模型的训练；

根据所述第一损失值，对所述语言语义理解模型的输入层添加扰动；

获得添加扰动后的语言语义理解模型在所述目标训练中的第二损失值；

根据所述第二损失值，更新所述语言语义理解模型的参数，得到优化后的语言语义理解模型。

可选地，所述方法还包括：

获得多个所述问句样本数据；所述问句样本数据包括问句文本样本和所述问句文本样本对应的分类标记；

获得语言语义理解模型在目标训练中的第一损失值，包括：

将所述问句文本样本输入所述语言语义理解模型，得到第一预测分类；

计算所述第一预测分类和所述问句文本样本对应的分类标记的交叉熵损失，得到所述第一损失值。

可选地，根据所述第一损失值，对所述语言语义理解模型的输入层添加扰动，包括：

根据所述第一损失值，计算对所述语言语义理解模型进行参数更新的第一梯度；

根据所述第一梯度，对所述语言语义理解模型的输入层添加扰动；

根据所述第二损失值，更新所述语言语义理解模型的参数，得到优化后的语言语义理解模型，包括：

根据所述第二损失值，计算对所述添加扰动后语言语义理解模型进行参数更新的第二梯度；

根据所述第二梯度，更新所述语言语义理解模型的参数，得到优化后的语言语义理解模型。

可选地，获得添加扰动后的语言语义理解模型在所述目标训练中的第二损失值，包括：

将所述问句文本样本作为添加扰动后的输入层的输入，得到所述添加扰动后的输入层输出的对抗样本向量；

将所述对抗样本向量输入所述语言语义理解模型的分类层，得到第二预测分类；