[发明专利]一种基于MSVL的神经网络系统的建模和验证方法

说明书

本发明属于系统形式化建模与验证技术领域，公开了一种基于MSVL的神经网络系统的建模和验证方法。采用MSVL对需要进行验证的神经网络(包括DNN、CNN、RNN等)系统进行建模，用多维数组表示系统中所涉节点和边的信息，在建模中，用函数表示神经网路系统中的基本操作；确定需要验证的神经网络系统的共有性质特征，主要包括正确性和健壮性，并采用PPTL公式描述神经网络系统的这些性质；将建模的MSVL程序和描述共有性质的PPTL公式统一在UMC4MSVL平台中验证，根据验证结果判断性质是否能够得到满足。本发明将形式化的程序设计过程应用于神经网络系统的建模和验证，程序执行的每一个状态均能够得到可靠的验证，有效地保障了系统本身的安全性。

技术领域

本发明属于系统形式化建模与验证技术领域，尤其涉及一种基于MSVL的神经网络系统的建模和验证方法。

背景技术

目前，神经网络系统依然存在诸多问题：其一，由于深度模型都是非凸函数，也就让神经网络在这方面的理论研究变得非常困难。对于任意一个非线性函数，都能找到一个浅层网络和深度网络来表示，深度模型比浅层模型对非线性函数具有更好的表现能力，但深度网络的可表示性并不代表可学习性和可解释性。其二，神经网络系统是否安全可靠是制约产业发展的强大阻力。神经网络系统本身可能存在严重的缺陷和漏洞，也可能遭到不同种类的恶意攻击。尤其是在安全攸关的场景中，极细小的错误都可能导致严重的后果。由此对神经网络的攻击和防御手段的研究已成为热点。

在学术界，众多成果值得深入研究。现有技术一通过对数据样本应用某种不可察觉的微小的扰动，可以致使神经网络分类系统产生错误的结果。现有技术二通过研究神经网络模型的线性特性，提出了一种生成对抗样本的简单而快速的方法FGSM，并将方法泛化到不同的神经网络结构，而后又将该方法应用到具体的物理场景中，分类效果均受到了对抗样本的明显干扰。现有技术三在FGSM算法的基础上，引入范数的思想进一步量化了神经网络分类模型的鲁棒性评价指标，从而能够在尽可能小地修改原始样本的基础上达到攻击神经网络分类模型的目的。现有技术四借助雅可比矩阵和显著图算法，通过将给定图像中的若干像素点饱和到最大或最小值，重复迭代上述过程，最终使得对抗样本被分类到错误目标类别。

上述四种攻击技术的成功应用均表明了神经网络系统在实际生产环境中是极其脆弱的，神经网路系统的安全性无法保证，或者具体为正确性和健壮性，在某些安全攸关的场景下将可能引发致命的问题。由此，检验神经网络系统的正确性和健壮性，深入神经网络模型的形式化理论研究显得十分必要。对于神经网络系统而言，安全性的检验主要包含测试和验证两种手段。测试是通过运行符合一定分布的示例输入，检验系统是否存在错误行为。而验证则是一种形式化的方法，采用模型检测、定理证明等技术对系统是否满足特定性质进行严格的推理。

现有技术存在的问题是：

绝大多数神经网络系统采用测试的方法进行安全性检验。但是，测试并不能够证明系统中不存在错误，而在一些安全攸关的场景下仅仅通过测试的系统显然不够可靠。

解决上述技术问题的难度：

神经网络系统常常可能是人脸识别系统、自动驾驶系统、推荐系统、翻译系统等，但是大规模的数据、大体量的代码、复杂的实现逻辑以及潜在的安全性特征将让建模和验证过程变得困难。

解决上述技术问题的意义：

相较于神经网络系统的自动化验证来说，频繁的大规模的测试往往运行周期长，消耗资源多，测试场景受限，且无法及时全面获得错误反馈信息，而采用形式化验证的方式可以在较好解决上述问题的基础上，更加有效地保证系统的安全性。

发明内容

针对现有技术存在的问题，本发明提供了一种基于MSVL的神经网络系统的建模和验证方法。

本发明是这样实现的，一种基于MSVL的神经网络系统的建模和验证方法，所述基于MSVL的神经网络系统的建模和验证方法包括以下步骤：