[发明专利]一种基于强化学习优化XSS检测模型防御对抗攻击的方法

说明书

本发明提出了一种基于强化学习优化XSS检测模型防御对抗攻击的方法，以用于提升基于人工智能的检测模型防御对抗攻击的能力。该方法主要构建了基于强化学习的XSS对抗攻击模型和检测‑对抗交替训练模型。通过基于强化学习的XSS对抗攻击模型挖掘检测模型的对抗样本，将每一轮新挖掘的对抗样本标记为恶意样本之后，对检测模型进行重新训练，从而提高检测模型防御对抗攻击的能力。

技术领域

本发明提出了一种基于强化学习优化XSS检测模型防御对抗攻击的方法，其主要用于提升基于人工智能的检测模型防御对抗攻击的能力。该方法的主要思想在于构建基于强化学习的XSS对抗攻击模型和检测-对抗交替训练模型。本技术主要涉及网络空间安全领域以及人工智能领域。其首先采集基于强化学习的XSS对抗攻击模型挖掘检测模型的对抗样本，然后将每一轮新挖掘的对抗样本标记为恶意样本，最后对检测模型进行重新训练，从而提高检测模型防御对抗攻击的能力。

背景技术

Web应用是目前网络上被使用最为频繁的应用，网民们享受着Web服务带来的便利与娱乐。但随着互联网普及率不断提高以及Web应用服务的不断丰富，逐步涌现出各种网络安全问题，层出不穷的Web攻击事件对人们的日常工作和生活造成严重的影响。

跨站脚本攻击（XSS）作为Web攻击中最常见的类型之一，常常被用作信息窃取和身份假冒。跨站脚本漏洞的本质是浏览器漏洞，其将恶意的script代码注入到用户所浏览的页面中。当用户使用浏览器阅读包含XSS代码的网页时，恶意代码就会在浏览器端执行，将个人信息，登录凭证等私密信息传递给攻击者布置好的接收端（XSS服务器）。因此，跨站脚本攻击能够直接威胁到用户隐私安全和服务器安全，导致信息泄露、命令执行等严重危害。

为了避免XSS攻击所引发的严重后果，各种XSS防御技术被提出。最为常见的是基于关键字的正则匹配技术，其将script标签和代码执行函数等可能触发XSS漏洞的字符串设置为关键字，如果按一定的规则进行正则匹配。但是这种技术存在很大的缺陷，很容易被攻击者绕过，且误报率相对较高。因此，基于机器学习的XSS检测技术被提出，其使用指定的机器学习算法，训练大量的XSS样本，最后将得到的模型用到漏洞的识别中去。

但是，随着攻击检测技术的不断提升，涌现出对检测模型实施对抗攻击的技术。攻击者企图通过生成具有混淆特征且保留攻击性的对抗样本对检测模型进行对抗攻击，误导模型将恶意攻击类型分类到良性类型，从而逃逸检测模型的攻击检测。然而，当前缺乏针对XSS攻击检测模型防御对抗攻击的研究。设计一种能够有效提高检测模型防御对抗攻击能力的方法具有极其重要的意义。

生成式对抗网络（Generative Adversarial Networks，GAN）是当前最新的研究技术，其可以通过在熊猫的图片上添加肉眼不可察觉的扰动，扰动后肉眼观看仍然明显是熊猫，然而GoogLeNet分类模型以99.3%的置信度判别该扰动后的图片为长臂猿。单像素对抗攻击（One Pixel Attack），在只能修改一个像素点的极端限制场景下，通过基于差分进化生成单像素对抗扰动，从而改变深度神经网络的分类输出结果。其性质可以被用于XSS攻击检测。

发明内容

为了提高XSS检测模型自身的安全性，本发明提出了一种基于强化学习优化XSS检测模型防御对抗攻击的方法。该方法能够不断优化XSS检测模型，提升其检测的准确率以及性能。其基本思想在于利用强化学习的自主强化能力，挖掘出有效的XSS攻击样本。然后将强化学习所挖掘的样本投入检测-对抗交替训练模型中进行模型优化。

首先，利用基于强化学习的对抗攻击模型挖掘检测模型的对抗样本，模型所挖掘的样本都具备实际攻击效果，能够为后续的模型优化提供帮助；其次，基于检测-对抗交替训练模型不断交替训练检测模型与对抗模型，将每一轮新挖掘的对抗样本标记为恶意样本之后，对检测模型进行重新训练。