[发明专利]深度学习代码缺陷检测方法、系统、产品、设备、终端

说明书

本发明公开是关于深度学习代码缺陷检测方法、系统、产品、设备、终端，涉及软件安全测试技术领域。生成模型的不同实现；将相同的输入样本通过不同的实现模型处理，得到输出结果；比对输出结果是否相同；如不相同，则反馈存在代码缺陷，并指导设计蜕变关系进行蜕变测试；否则进入蜕变测试，生成具有蜕变关系的输入样本对；将具有蜕变关系的输入对通过深度学习模型处理，得到输出对结果；比对该输出对是否具有对应的蜕变关系；如无对应的蜕变关系则反馈代码缺陷；否则，表明该模型不存在代码缺陷。本发明提出的技术方案能够对于深度学习代码缺陷提供一种更高准确率和定位能力的检测方法，在代码层面上消除深度学习模型存在的缺陷和隐患。

技术领域

本发明公开涉及软件安全测试技术领域，尤其涉及基于蜕变测试和差分测试的深度学习代码缺陷检测方法、系统、存储在计算机可读介质上的计算机程序产品、计算机设备、信息数据处理终端。

背景技术

随着深度学习技术的高速发展，硬件算力的显著提升以及各领域大数据的普及。深度学习已经在人脸识别、医疗影像、自动驾驶等安全攸关的领域得到了更佳广泛的应用，而在这些安全性要求极高的实际应用中，深度学习本身结构的复杂性给深度神经网络的测试和验证都带来了极大的挑战性。

近年来，现有对于深度学习的测试研究主要从测试输入生成和测试预言两个方面进行。测试输入生成旨在检测模型的功能，即对不同数据的健壮性，而不是对深度学习系统的代码进行漏洞检测。而测试预言问题是指软件在测试过程中需要在给定的输入下能够区分出软件正确行为和潜在的错误行为，从而检测出代码缺陷。当前在该方面的研究主要分为两类：差分测试和蜕变测试。

差分测试的核心思想是相同输入在基于相同规约的多个实现下的输出是相同的。目前，差分测试也被应用于深度学习的测试中来解决测试预言问题。目前的差分测试相关研究主的OGMA测试方法检测缺陷：如果同一输入在两个功能相同的分类器下得到不同的输出，则该输入揭示了这两个分类器中至少一个分类器的缺陷。配置加载多个不同框架的相同实现，对比同一个深度网络模型在不同后端下的表现是否一致来进行缺陷检测。差分测试对于深度学习模型的代码缺陷检测具有一定的局限性，其主要表现在检测缺陷的覆盖率不高以及对缺陷只有检测能力而无定位能力。

蜕变测试的核心思想是构造蜕变关系，即描述待测系统的测试输入的变化与输出的变化的关系。例如，一个测试用例有两个元组(input₁-output₁)和(input₂-output₂)，其中input₁和output₁之间有预先设计的关系，可以推断出output₁和output₂之间也应具有某种关系(称之为蜕变关系(MR，Metamorphic Relation))。当发现输出之间没有维持这种关系的情况，即可以得出存在代码缺陷的结论。

现有的蜕变测试方法在对机器学习算法的测试中有很多成熟的应用。例如，针对排序系统设计的蜕变测试，一种针对监督学习分类算法的蜕变测试方法。而在深度学习的测试中，现有的研究中关注代码缺陷的一种针对图像分类的DNN系统蜕变测试方法，针对图像数据设计了多种蜕变关系并对多个图像分类器进行测试，其结果尽管在机器学习模型上表现良好，但在深度学习模型上只能检测出71％的代码缺陷。

综上所述，现有针对深度学习模型的代码缺陷检测方法在差分测试和蜕变测试上的研究均有一定的成果，但各自方法均存在一些无法解决的问题，单使用一种方式来进行检测，在深度学习模型上的效果不佳。

随着深度学习技术的高速发展、数据量的激增以及硬件能力的显著提升，当前深度学习在各个与安全相关的领域中得到了更加广泛的应用，如自动驾驶、人脸识别、碰撞检测等。但深度学习的结构复杂，其中微小的错误就可能引发整个系统应用具有严重的质量问题。在系统安全性的优化上，除了对于训练数据优化以提高模型的鲁棒性外，发现系统的代码缺陷也是提升安全性和稳定性的重要保障。

综上所述，现有技术存在的问题是：