[发明专利]基于Q-learning的网络最优攻击路径预测方法及系统

说明书

本发明公开了一种基于Q‑learning的网络最优攻击路径预测方法及系统，利用漏洞扫描工具获取网络环境中的漏洞信息，构建网络环境的攻击图；根据提出的漏洞量化规则，从多维度对获取的漏洞进行评分，进而对攻击图进行量化；构建Q‑learning的网络最优攻击路径预测模型，将攻击图中的量化信息作为环境反馈值；在攻击图上对基于Q‑learning的网络最优攻击路径预测模型进行迭代训练，通过多次迭代自动实现对决策的优化；最终预测出多步攻击场景下的高危攻击路径，主要解决现有技术攻击路径预测慢、计算成本高、不能随着网络环境的变化进行动态调整的问题，可用于高校和企业网络等场景。

技术领域

本发明涉及网络安全技术领域，可用于高校、企业网络等领域,具体为一种基于Q-learning的最优攻击路径预测方法及系统。

背景技术

随着互联网的迅速发展，网络流量激增，国内外网络攻击事件频发。攻击者为谋求利益铤而走险，导致了网络设备资源的恶意侵占，隐私数据的泄漏、篡改。在众多攻击方式中，多步攻击是目前主流的攻击之一。不同于单步攻击，多步攻击更为复杂，攻击者往往采取多条攻击路径，攻击一旦发生将对网络系统造成不可逆的损坏。随着网络规模逐渐扩大，在紧急情况下追踪每一条攻击路径，系统防御系统不能及时给出最优的修复建议。不同于普通的攻击路径，最优攻击路径是多步攻击场景下，攻击者最可能采取的一条攻击路。通过最优攻击路径，攻击者能以较低的攻击成本和高攻击回报抵达攻击目标。在网络系统崩溃前预测出最优攻击路径，能起到未雨绸缪的作用。网络攻击的预测，一般由网络环境信息采集、攻击场景建模、攻击场景分析三阶段构成。攻击图是研究网络环境脆弱性的有力工具，能展示攻击者可能采取的所有攻击路径，十分适用于攻击场景的建模。强化学习可以通过行为的价值来选取特定行为，依据奖惩机制不断试探，在迭代多次后最终得到一组最优动作以最大化累计回报。

申请公布号为CN112804208A，名称为“一种基于攻击者特性指标的网络攻击路径预测方法”的专利申请，该方法从攻击者的角度出发,结合攻击图和隐马尔可夫模型,提出网络攻击路径的量化指标来体现不同意图的攻击者对于最优攻击路径选取的不同；并基于量化指标对攻击图中的攻击路径进行量化和分析,更加有效地描述网络攻防场景；最后,通过将每一条攻击路径上所有漏洞的攻击成本、攻击收益及攻击利润分别相加,得到整条攻击路径的攻击总成本、攻击总获利以及攻击总利润,通过比较各个攻击路径的指标值，从而更加准确地找到攻击者可能攻击的风险较大的一条或多条攻击路径。但是，该发明仅考虑攻击图中的漏洞节点，没有考虑其中的条件节点，这对路径预测的准确性带来了影响。同时，该方法每次预测都需要先计算出所有的攻击路径，这造成了不必要的计算成本，从而降低了攻击路径的预测速度。

又如申请公布号为CN111683080A，名称为“一种高危攻击路径动态预测及修复系统与方法”，公开了一种基于累积概率值的高危路径预测方法，该方法使用改进的CVSS评分策略和专家知识库估计各攻击节点的攻击发动概率、攻击成功概率以及安全监测点的置信度,得到概率攻击图,最终通过最大概率攻击路径预测算法得到高危攻击路径。同时，该发明以系统日志与安全监测点报警信息作为数据源建立起Gompertz数学模型，动态反映了每一个攻击及其所在路径的利用概率随时间变化的特性。该方法虽然考虑到每个攻击随时间变化的特性以增加路径预测的准确性，但采用的路径选择算法是以广度优先的思想对图进行遍历，这降低了攻击路径的预测速度。

发明内容

针对现有技术中存在的问题，本发明提供一种基于Q-learning的最优攻击路径预测方法及系统，解决了现有方法预测速度慢，且不能随着网络环境的变化进行动态调整的问题。

本发明是通过以下技术方案来实现：

一种基于Q-learning的网络最优攻击路径预测方法，包括以下步骤：

步骤1，根据网络中的关键信息以及网络环境中的漏洞，构建网络环境的攻击图；