[发明专利]基于强化学习的网络病毒传播防御方法、装置和设备

说明书

本发明提供了基于强化学习的网络病毒传播防御方法、装置和设备。方法包括将目标网络抽象成二维空间Graph形式作为训练数据进行存储；构建强化学习训练模型，定义强化学习训练模型的训练环境；强化学习模型的训练环境包括：训练环境规则、服务器状态、入侵者攻击规则以及训练结束条件；对强化学习训练模型进行训练，得到强化学习防御模型；部署到管理服务器，将目标网络中的服务器状态输入到强化学习防御模型，将输出结果中的服务器进行离线。以此方式，可以在能够检测到病毒攻击的前提下，只考虑攻防双方的反应速度，不考虑防御或攻击强度，从宏观上对服务器群进行保护，使复杂网络中少部分电脑被入侵时，整体依然可以运行。

技术领域

本发明一般涉及网络安全领域，并且更具体地，涉及基于强化学习的网络病毒传播防御方法、装置和设备。

背景技术

强化学习是一种基于奖励期望行为和/或惩罚不期望行为的机器学习训练方法。一般来说，强化学习智能体能够感知并解释其所处的环境，通过不断地尝试和从错误中学习，最终得出能够实现目标的优秀策略。作为人工智能的一个热门领域，强化学习在预防和应对赛博攻击的领域有着优秀的发展前景。

强化学习可以用于黑客攻防模拟，目前人们对于如何将强化学习的算法应用在赛博攻防领域还处于探索阶段，已经验证过的模拟实验有模拟网络的最小单位：“标准网络”。该模拟实验通过将病毒攻防的过程模拟为：病毒从START点开始入侵，通过成功攻击并夺取CPU服务器的控制权，再成功攻击重要资产所在服务器，进而获取到目标资源。AI通过调整不同服务器上的防御强度和检测强度，进而阻止病毒的入侵。该模拟的设计存在一定的代表性，且证明了强化学习在该网络上的可行性。

然而在现实过程中，防御强度和检测强度的设计并不符合现实中的情况。因为只要在所有的服务器上都安装相同的防御AI，所有的服务器的防御强度将都是相同且不会改变的；黑客对于服务器的攻击总会只有两种情况：失败或者成功，且攻击总是在一瞬间完成的。并且现有的设计当中都需要考虑攻击强度和系统防御强度等若干方面的问题，使防御过程逻辑复杂。

发明内容

根据本发明的实施例，提供了一种基于强化学习的网络病毒传播防御方案。本方案在能够检测到病毒攻击的前提下，只考虑攻防双方的反应速度，不考虑防御或攻击强度，从宏观上对服务器群进行保护，使复杂网络中少部分电脑被入侵时，整体依然可以运行。

在本发明的第一方面，提供了一种基于强化学习的网络病毒传播防御方法。该方法包括：

将目标网络抽象成二维空间Graph形式作为训练数据进行存储；

构建强化学习训练模型，定义所述强化学习训练模型的训练环境；所述强化学习模型的训练环境包括：训练环境规则、服务器状态、入侵者攻击规则以及训练结束条件；

在所述强化学习训练模型的训练环境下，对所述强化学习训练模型进行训练，得到强化学习防御模型；

将所述强化学习防御模型部署到管理服务器，在所述管理服务器上，将所述目标网络中的服务器状态输入到所述强化学习防御模型，将输出结果中的服务器进行离线。

进一步地，所述训练环境规则，包括：

随机为黑客分配一个服务器作为初始入侵点；以及

随机在所述目标网络中的一台或多台服务器上分配虚拟资产。

进一步地，所述服务器状态包括：被入侵状态、未被入侵状态和离线状态；其中，

所述被入侵状态为服务器执行入侵者攻击规则后，被入侵者入侵；

所述离线状态为服务器与网络中的其他服务器断开连接；

所述未被入侵状态为服务器未被入侵者入侵且未处于离线状态。

进一步地，所述入侵者攻击规则，包括：