[发明专利]一种深度学习系统的漏洞检测方法和装置

说明书

本发明实施例提供一种深度学习系统的漏洞检测方法和装置，其中方法包括：以最大化神经元覆盖率为导向，从待测深度学习系统中选取并激活若干个神经元；基于若干个神经元的张量表达式，以及待测深度学习系统的预测差的张量表达式，构建优化函数，并通过最大化优化函数获取若干个扰动；若所述若干个扰动中任一扰动满足预设条件，则基于该扰动获取检测样本，通过检测样本对待测深度学习系统的漏洞进行检测。本发明实施例提供的方法和装置，能够有效提升神经元覆盖率，使得检测过程更加完备，并且只需要一个深度学习系统，使得漏洞检测方法的应用场景更为广泛，此外，能够生成大量样本，提高了待测深度学习系统漏洞的检测效率。

技术领域

本发明实施例涉及深度学习技术领域，尤其涉及一种深度学习系统的漏洞检测方法和装置。

背景技术

当前，深度学习技术越来越多地应用于与安全相关的领域，例如无人驾驶和恶意软件检测。上述应用领域对于可预测性和正确性的要求，给深度学习技术的广泛应用带来了新的挑战。由于训练数据偏差，模型过拟合等原因，深度学习系统经常在边界情况中表现出意外或不正确的行为。而在对安全性要求较高的环境中，这种不正确的行为会导致灾难性的后果。因此，深度学习系统的软件的安全保障技术十分重要，可以有效地发现深度学习系统中潜在的问题和缺陷，保障系统的运行可靠性。

目前比较有代表性的深度学习系统漏洞检测方法主要分为两类，包括黑盒测试方法和白盒测试方法。其中，白盒测试方法中，具有代表性的方法是Pei等人基于深度学习系统的内部结构，首次提出使用“神经元覆盖率”的指标用于度量传统深度学习测试对系统内部逻辑覆盖率，同时使用差异测试的方式自动生成能够触发多个深度学习系统不一致行为的测试输入。

然而目前的白盒测试方法仍然具有以下不足之处：1)随机选择1个神经元进行激活，导致神经元覆盖率提升不够充分；2)需要使用多个有差异性的深度学习系统，在实际的应用场景中往往很少能获得；3)测试过程中生成的样本利用不充分，生成样本数目过少。

发明内容

本发明实施例提供一种深度学习系统的漏洞检测方法和装置，用以解决现有的白盒测试方法存在的问题。

一方面，本发明实施例提供一种深度学习系统的漏洞检测方法，包括：

以最大化神经元覆盖率为导向，从待测深度学习系统中选取并激活若干个神经元；

基于所述若干个神经元的张量表达式，以及所述待测深度学习系统的预测差的张量表达式，构建优化函数，并通过最大化所述优化函数获取若干个扰动；其中，所述预测差为所述待测深度学习系统的预设标签中其余标签的概率与原始标签的概率之差；

若所述若干个扰动中任一扰动满足预设条件，则基于所述任一扰动获取检测样本，通过所述检测样本对所述待测深度学习系统的漏洞进行检测。

另一方面，本发明实施例提供一种深度学习系统的漏洞检测装置，包括：

神经元激活单元，用于以最大化神经元覆盖率为导向，从待测深度学习系统中选取并激活若干个神经元；

扰动计算单元，用于基于所述若干个神经元的张量表达式，以及所述待测深度学习系统的预测差的张量表达式，构建优化函数，并通过最大化所述优化函数获取若干个扰动；其中，所述预测差为所述待测深度学习系统的预设标签中原始标签的概率与其余标签的概率之差；

漏洞检测单元，用于若所述若干个扰动中任一扰动满足预设条件，则基于所述任一扰动获取检测样本，通过所述检测样本对所述待测深度学习系统的漏洞进行检测。

又一方面，本发明实施例提供一种电子设备，包括处理器、通信接口、存储器和总线，其中，处理器，通信接口，存储器通过总线完成相互间的通信，处理器可以调用存储器中的逻辑指令，以执行如前所述的深度学习系统的漏洞检测方法。