[发明专利]语义理解模型的鲁棒性评估方法、装置及计算机设备

说明书

本申请涉及一种语义理解模型的鲁棒性评估方法、装置及计算机设备。方法包括：基于至少一种预设方式，对原始测试集作语义一致变换，得到每种预设方式对应的增强测试集；基于每种预设方式对应的增强测试集对语义理解模型进行测试，得到每种预设方式对应的测试结果，基于原始测试集对语义理解模型进行测试，得到原始测试集对应的测试结果；基于原始测试集对应的测试结果及每种预设方式对应的测试结果，评估语义理解模型的鲁棒性。由于在生成增强数据时，可通过维持语义一致性以贴合口语化信息的特征，从而使得生成的增强数据不会改变语义，进而不会影响到对语义理解模型的鲁棒性评估。因此，可以保证语义理解模型鲁棒性评估结果的准确性。

技术领域

本申请涉及机器学习应用技术领域，特别是涉及一种语义理解模型的鲁棒性评估方法、装置及计算机设备。

背景技术

目前面向任务的对话系统吸引了越来越多的人来研究，其中理解用户话语是对话系统成功的关键前置过程。现实生活中充满了各种噪声，包括背景噪声、拼写错误和语法错误等，这就对模型的稳健性存在一定的考验。在相关技术中，主要是通过对测试样本进行变形，如随机替换字词或删除字词，再对比语义理解模型使用变形前的测试样本时的语义理解准确率与使用变形后的测试样本时的语义理解准确率，评估语义理解模型的鲁棒性。由于上述变形方式均会一定程度影响语义，这对语义理解会造成较大影响，从而按照上述方式，会造成模型鲁棒性的评估结果不准确。

发明内容

基于此，有必要针对上述技术问题，提供一种语义理解模型的鲁棒性评估方法、装置及计算机设备。

第一方面，本申请一种语义理解模型的鲁棒性评估方法，该方法包括：

基于至少一种预设方式，对原始测试集作语义一致变换，得到每种预设方式对应的增强测试集，原始测试集是由样本句子文本所构成的；

基于每种预设方式对应的增强测试集对语义理解模型进行测试，得到每种预设方式对应的测试结果，基于原始测试集对语义理解模型进行测试，得到原始测试集对应的测试结果；

基于原始测试集对应的测试结果及每种预设方式对应的测试结果，评估语义理解模型的鲁棒性。

在其中一个实施例中，至少一种预设方式包括语序调整方式、字词增加方式及字词替换方式。

在其中一个实施例中，至少一种预设方式包括语序调整方式；基于至少一种预设方式，对原始测试集作语义一致变换，包括：

根据原始测试集中每一样本句子文本的句长，划分句长取值区间；其中，句长指的是样本句子文本中句子成分的总数量，划分得到的句长取值区间之间互不重叠；

根据每一样本句子文本的句长所落入的句长取值区间，确定每一样本句子文本中相邻句子成分的置换次数；

根据每一样本句子文本中相邻句子成分的置换次数，对每一样本句子文本中的相邻句子成分进行置换。

在其中一个实施例中，至少一种预设方式包括字词增加方式；基于至少一种预设方式，对原始测试集作语义一致变换，包括：

根据原始测试集中每一样本句子文本的字词总数量，划分字词数量取值区间；其中，划分得到的字词数量取值区间之间互不重叠；

根据每一样本句子文本的字词总数量所落入的字词数量取值区间，确定每一样本句子文本的字词增加次数；

根据每一样本句子文本的字词增加次数，在每一样本句子文本中增加字词。

在其中一个实施例中，至少一种预设方式包括字词替换方式；基于至少一种预设方式，对原始测试集作语义一致变换，包括：

根据原始测试集中每一样本句子文本的字词总数量，划分字词数量取值区间；其中，划分得到的字词数量取值区间之间互不重叠；