[发明专利]一种基于智能交通模型正确性的蜕变测试方法

说明书

本发明采用蜕变测试技术对智能交通模型进行正确性测试，设计应用于智能交通模型的蜕变关系并从多个方面判定程序功能的正确性，使用原始用例和基于蜕变关系生成的衍生用例对智能交通模型进行测试，检查原始和衍生用例的输出是否满足相应的蜕变关系，得出测试结果。发明能够采用新的软件测试方法对智能交通模型正确性进行合理度量与评估。

技术领域

本发明属于模型测试领域，特别是涉及到智能交通模型正确性的测试。依据智能交通模型输入及输出结果建立蜕变关系，利用蜕变关系来生成新的测试用例，通过验证蜕变关系是否被保持来决定测试是否通过并最终形成一份测试报告。

背景技术

深度学习技术在计算机系统中的应用越来越广泛，在智能交通领域，深度学习模型也在发挥极其重要的作用。与此同时，对其软件做质量保证的测试势必日益受到重视。传统的测试方法通常比较程序预期输出和实际输出是否一致来判定测试结果。但在很多情况下，被测程序的预期输出难以确定，难以确定执行结果与期望结果是否相同。这种测试人员无法确定程序的执行结果与期望结果是否相同，或者很难构造预期输出的现象被称为“oracle”问题。这是深度学习软件和其他传统软件很重要的区别，所以传统的测试方法对深度学习类软件不一定适用。

在智能交通领域，模型的正确性至关重要，细微数据的差异都有可能导致重大交通事故的发生。针对智能交通模型的正确性进行合理验证与评估能够最大程度地维护智能交通软件产品的安全性与稳定性。然而，智能交通模型中，预先没有预期值，输出即是某种预测，难以通过比较或验证预测与预先未知的某种预期值来测试。因此，传统的测试方法难以适应智能交通模型正确性测试。

在智能交通模型应用场景中所出现的“oracle”未知的情况，使得传统软件测试难以实施。蜕变测试(Metamorphic Testing)是一种能够有效地解决此类问题的特殊黑盒测试方法。蜕变测试是指依据被测软件的领域知识和软件的实现方法建立蜕变关系，利用蜕变关系来生成新的测试用例，通过验证蜕变关系是否被保持来决定测试是否通过的一种软件测试方法。蜕变测试通过检查这些成功样本及由它们构造的新样本所对应的程序执行结果之间的关系来测试程序。经过二十年的研究，蜕变测试技术取得了广泛的应用。如果智能交通模型的输入和输出之间能建立某种蜕变关系，那么可以运用蜕变测试来进行深度学习模型的黑盒测试。因此，我们希望建立这种模型输入与输出之间的蜕变关系实现对智能交通模型的变异测试。

基于上述工作，本发明采用蜕变测试技术对智能交通模型进行正确性测试，设计应用于智能交通模型的蜕变关系并从多个方面判定程序功能的正确性，使用原始用例和基于蜕变关系生成的衍生用例对智能交通模型进行测试，检查原始和衍生用例的输出是否满足相应的蜕变关系，得出测试结果。因此，本发明基于这些已有的研究成果，重点采用智能交通领域真实应用场景驱动各类蜕变关系产生，并生成满足蜕变关系的测试样本。

发明内容

本发明要解决的问题是：在智能交通软件领域，传统软件测试方法主要采用比较程序预期输出和实际输出是否一致的方法来度量软件系统的准确率、可靠性等。针对智能交通领域中的深度学习模型，这种传统软件测试方法并不能有效发现可能出错的极端行为。与传统的软件不同，深度学习系统的决策逻辑是从训练样本中学习而成，这种黑箱模式使得极端场景的错误行为比传统软件更难预测和解释。我们的发明能够采用新的软件测试方法对智能交通模型正确性进行合理度量与评估。

本发明的技术方案为：一种基于智能交通模型稳定性的蜕变测试方法，其特征是能够根据蜕变关系生成测试样本，从多个方面对智能交通模型进行正确性测试，得出最终测试结果。该生成方法包含以下几个模块/步骤：