[发明专利]一种针对递归神经网络驱动的对话系统的自动化测试方法

说明书

一种针对递归神经网络驱动的对话系统的自动化测试方法。该方法基于语义不变的文本数据变换规则，对原始测试集进行扩增变换，生成具有真实性的测试数据；同时，该方法基于计算被测递归神经网络预测测试用例时的Gini不确定系数，选择容易触发被测模型错误行为的测试用例，以提高对话系统的测试效率。在生成测试数据的基础上，通过将被测模型的实际输出结果与数据的真实标签结果进行比较，记录对话系统对测试用例理解出错的实例；同时，该方法可以将生成数据用于被测RNN模型的重新训练，以提升RNN自然语言理解模型的准确性，提升对话系统的鲁棒性，保障对话系统等智能软件的安全可靠性。

技术领域

本发明属于软件工程领域，尤其适用于软件工程中的软件开发与测试紧密关联的领域，其目的在于设计一种自动化测试工具，针对递归神经网络驱动的对话系统进行自动化测试，是一种适用于基于深度学习软件的测试方法，可以有效检测对话系统的潜在缺陷，同时可提升对话系统中自然语言理解模块的正确率和鲁棒性，提升对话系统的行为正确性。

背景技术

随着递归神经网络(RNN)的巨大进步，对话系统取得了长足的发展，许多RNN驱动的对话系统都已部署到现实生活的应用场景，例如Siri，Google Home和Alexa，以协助完成各种任务。但是，尽管RNN模型效果显著，RNN驱动的对话系统(本质上是一种软件)也可能产生错误的行为并导致巨大的损失。同时，为对话系统提供驱动力的RNN模型的复杂性和难处理性使其测试具有挑战性。

高质量的软件测试过程对软件质量保证起着至关重要的作用。当前现有的对话系统测试方法主要基于传统的黑盒软件测试方法，通过用各种参数(如动作，对象和数字)填充预定义的模板来生成测试语句，然后输入到对话系统中。因为所有参数都是从给定的集合中选择的，所以即使组合的数量可能很大，生成的数据的多样性也受到限制。此外，这些测试方法在生成测试用例时缺乏适当的引导，这可能会限制它们在检测错误行为方面的效率。同时，由于多种原因，测试RNN驱动的对话系统是一项具有挑战性的任务。首先，与传统软件应用依赖工程师手工构建业务逻辑不同，RNN模型的开发采用数据驱动的编程范式，通过学习海量数据形成逻辑。这一特性使得传统的软件测试技术难以对RNN驱动的对话系统进行测试。此外，RNN模型通常由多层和数百万个参数组成，这种结构自然地阻碍了对其行为的分析，并进一步使传统的测试标准失效。

针对当前对话系统自动话测试方法的缺失，以及RNN模型的测试难点，本发明提出一种针对RNN驱动的对话系统的自动化测试方法，该方法主要分为三个部分：

第一个部分是生成用于测试的句子和对应的意图和槽位填充的实体标签。首先采用一系列带有相应运算符的转换方法用于原始测试集的句子上，其中主要包括同义词替换、回译和单词插入方法，适用于对话系统的自然语言理解模型的槽位填充和意图检测任务。该方法可以在不改变原句子语义的情况下生成新的测试句子。

第二个部分是测试用例的筛选。由于第一部分生成的测试用例数量较为庞大，直接用于模型测试或优化的效率都比较低，因此在此部分通过计算Gini不确定系数，来度量被测模型对测试用例的不确定性。通过Gini不确定系数的引导，可以有效地选择模型中最有可能触发潜在缺陷的测试数据。

第三个部分是RNN模型的测试和优化。将第二部分筛选出的测试用例输入到对话系统的自然语言理解模型中，通过对比模型预测的意图标签、槽位标签，与句子对应的真实标签进行比较，就可以评估模型是否预测错误，并用于评价模型的稳健性。此外，将筛选数据用于自然语言理解模型的重训练，还可以进一步提升模型的精度。

通过该方法可以对基于RNN驱动的对话系统进行自动化测试，可针对对话系统中由RNN模型驱动自然语言理解模块进行测试和优化，帮助发现对话系统的潜在缺陷，同时该方法可提升基于RNN对话系统的表现质量，保证软件的可靠性，促进基于深度学习模型的高级软件取得良性发展。

发明内容