[发明专利]基于历史信息和分层强化学习的拒绝服务攻击防护方法

说明书

本发明公开了一种基于历史信息和分层强化学习的拒绝服务攻击防护方法。对于小规模网络流量响应问题，本发明首先使用经验信息来估计合法流量，然后采用线性规划(LP)进行计算以找到每个限制路由器的理想策略。对于大规模网络流量响应问题，本发明的基于层次(Hierarchical)结构的ELP(HELP)策略可以减轻中心路由器的压力，并且可以实现比直接ELP(中心节点与所有节点通信)更好的性能，对于实际的应用具有一定的指导意义，可以有效减少DDoS流量的影响。

技术领域

本发明涉及一种网络流量自动控制技术，具体涉及一种基于分层 线性规划的、面向大规模网络环境下的流量自动控制的方法。

背景技术

随着互联网带宽的增加和各种黑客工具的持续发布，DDoS攻击 变得更容易实现，并且DDoS攻击事件的发生正在呈上升趋势。由于 商业竞争，报复和在线勒索等各种因素，许多商业网站，网络游戏服 务器，聊天网络和其它网络服务提供商长期以来一直受到DDoS攻击 的困扰。据全球知名的内容交付网络服务提供商的报告所述，2014 年遭受的攻击流量超过100G。2016年的DDoS攻击包括针对Krebs 安全博客的620Gbps攻击和针对法国ISPOVH的1Tbps攻击。恶意 软件甚至可以感染物联网的设备进行传播，例如著名的物联网僵尸网 络Mirai，通过感染网络摄像头等物联网设备进行传播，曾经对Brian Krebs个人网站和法国网络服务商OVH发动DDoS攻击。

路由限制是一种分布式的流量限制方法。具体来说，为了防止服 务器处理通过全局网络到达的过多服务请求，在转发路径上安装限流 路由器，并要求它们在过量的流量达到服务器导致服务器崩溃之前， 将分组到达的流量调节到合适的水平。尽管以往取得了成功的结果， 但由于多种原因，多智能体路由限制方法仍然存在很多挑战。

多智能体路由流量控制，由于难以区分正常流量和恶意流量等多 种原因，不能直接采用线性规划(LP)进行求解。而直接进行策略 的学习难度较大，并且学到的策略与理想状态下LP的结果差距巨 大。如何缩短与LP的差距，已经成为急需解决的难题。

发明内容

1、本发明的目的

本发明的目的是针对多路由的流量控制问题，缩短现有方法与理 想的线性规划方法之间的差距，对于小规模的流量控制问题，提出了 基于经验的线性规划(ELP)方法，对于大规模的流量控制问题，提 出了基于分层的ELP(HELP)方法。

2、本发明所采用的技术方案

本发明提出了一种基于历史信息和分层强化学习的拒绝服务攻 击防护方法：

步骤1、基于经验的线性规划

每个限制路由器负责管理一片区域的终端，限制对应区域的终 端流量；限制路由器先从整个网络拓扑中获取状态信息，然后通过 ELP方法获取每个路由器的动作，这些动作将对网络拓扑环境产生影 响并从环境中获取一些奖励信息；

步骤2、基于经验的合法流量估算

收集经验数据，其中包含每个路由器的当前总流量T_router和历史的 合法流量H_leg作为模型的输入，模型的输出为预期的合法流量实际的合法流量作为类别标签； 其中，是时刻t第i个智能体包含的合法流量的大小，是时刻t第i 个智能体估算的合法流量的大小；此处，历史的合法流量H_leg由公式 (1)更新，这里α∈(0,1)是更新率；

采用监督学习方法来学习基于历史经验数据的模型，模型参数为 θ，对于每个限制路由器，通过学习的SL模型获得估计的合法流量 E_leg，这个模型的目标是最小化预期的合法流量E_leg与实际的合法流量 R_leg的差距，如公式(2)所示；