[发明专利]基于攻防对抗的电力信息网络安全策略学习装置及方法

说明书

本发明公开了一种基于攻防对抗的电力信息网络安全策略学习装置及方法，包括设备网络、攻击智能体以及防御智能体，若干攻击智能体同时攻击设备网络，若干防御智能体同时防御，在对抗过程中，防御者智能体通过增加防御值来提高对某种类型攻击的防御能力，增加检测值来提高对某种类型攻击的检测能力。随着防御值的提高，攻击智能体使用特定类型的入侵该设备节点越来越困难，但其他计算机设备节点能使用该计算机设备节点的服务的便利性也下降；通过提高检测值，该设备节点成功检测出攻击的可能性也提高，但耗费的计算资源也随之提高。因此，整体网络的总体防御值和检测值应小于等于预设值。通过模拟对抗，以最小的防御和检测代价，获得最优的安全策略。

技术领域

本发明涉及一种电力信息系统安全领域，具体涉及一种基于攻防对抗的电力信息网络安全策略学习装置及方法。

背景技术

电力系统是现代社会生产、生活的重要基础。有效的电力设备管理是电力供应的保障，随之出现了大量电力信息系统。近年来，随着电力信息系统的建设，相关的信息网络规模不断增大，网络也变得越来越复杂。如何学习、制定信息网络安全策略，从而有效的保护网络，给予网络中的成员提供安全是一项复杂的任务。而事实上，计算机的安全、使用便利性、耗费的计算资源之间存在着平衡关系：提高安全防御之后会降低计算机使用的便利性，增加计算机攻击检测的能力则会需要分配更多的计算资源，从而降低该设备节点计算机实际可分配的计算资源。因此，如何信息根据网络的实际配置情况，预判、检测攻击，制定安全策略，从而有效的平衡预防、检测、使用便利性和计算资源，是一个亟待解决的问题。

尽管很多研究人员的方法可以针对可能的行为进行预先设计和编程，但是随着网络安全的任务越来越复杂，同时网络中的环境，存在未知性、不确定性，并且会动态发生变化，从而进一步加剧了所要解决问题的复杂性，使得设计人员很难事先对动态变化的环境做出有效预测，预设的安全策略也无法适用于实际情况。因此，设计一种能够具有在线学习能力的安全控制方法，动态调整安全控制显得尤为重要。

强化学习(Reinforcement Learning)通过采用不断试错式的学习方式以获取最优的行为策略。目前，很多强化学习方法都在实时、在线行为学习方面表现出了良好的性能，非常适用于在线学习及实时控制、优化任务。如何通过强化学习获得电力信息网络完全策略是本领域亟待解决的问题。

发明内容

在本发明中，攻击智能体和防御智能体，通过模拟对抗在线式学习的安全策略。在模拟的对抗过程中，攻击智能体试图以最小的代价攻击电力信息网络的计算机，而防御智能体则尽力以最小的代价发现攻击、保护电力信息网络，防止其被攻克。攻击智能体采用带有软最大化的蒙特卡洛学习最优攻击策略，防御智能体采用最大置信上界的Q学习最优防御策略。两个智能体均通过学习算法获得最大的收益。

电力信息网络由若干设备节点和线路按照某种拓扑结构连接而成。设备节点是网络中的计算机，如服务器，设备节点通过线路连接，当且仅当设备节点之间有线路连接时，可以从一个设备节点访问另一个设备节点。有以下三种类型的设备节点：起始设备节点，是攻击智能体在对抗访问游戏起始阶段的设备节点；目标设备节点，是网络中包含有价值数据的设备节点，是“重要”设备节点，不能被入侵，否则将遭受较大的损失，对网络造成的影响较大，如果攻击智能体成功攻击该设备节点，则以攻击智能体胜利结束；中间设备节点，位于起始设备节点和目标设备节点之间，为了到达目标设备节点，需要攻击这些中间设备节点，以形成一条从起始设备节点到目标设备节点的网络通路，这些中间设备节点是“一般”设备节点，如果被入侵，则损失相对较小，对网络造成的影响也较小。

电力信息网络包括了若干“一般”设备节点和若干“重要”设备节点。攻击智能体可以选择任意的一个“一般”设备节点作为“起始”设备节点，选择一个“重要”设备节点作为“目标”设备节点展开攻击。在攻击的过程中，每个计算机设备节点都有可能成为攻击智能体的目标。