[发明专利]边缘计算环境下基于强化学习的DIDS任务调度算法

说明书

本发明公开了一种边缘计算环境下基于强化学习的DIDS任务调度算法，其中包括如下步骤：对检测引擎进行性能等级评估，对所检测的数据包进行负载评估，用马尔科夫决策过程建模，调度器进行决策并确定如何分配检测引擎去检测数据包。对于检测引擎数量固定的分布式入侵检测系统，本发明提出的任务调度算法可以做出最优决策使系统整体负载降低。

技术领域

本发明属于网络安全技术领域，涉及一种边缘计算环境下基于强化学习的DIDS任务调度算法

背景技术

边缘计算作为一种新的计算模式，在快速发展的同时也面临新的网络安全挑战。由于边缘节点性能受限，所以云计算中依赖高性能设备的DIDS(DIDS，分布式入侵检测系统)需要向低负载化改进，才能在网络边缘就近检测数据。

发明内容

本发明的目的是提供一种边缘计算环境下基于强化学习的低负载DIDS任务调度算法，该算法能够在边缘计算环境下根据网络变化动态调节任务调度策略，使DIDS的负载有效降低。

本发明所采用的技术方案是，边缘计算环境下基于强化学习的DIDS任务调度算法，具体按照以下步骤实施：

步骤1、工作开始前，对DIDS中的各检测引擎进行性能评估，收集其对测试流量的检测时间dt和内存占用mu信息，并将作为检测引擎的性能指标。对所有检测引擎测试后，根据性能高低将其分成不同等级d,d＝1,…,D，d值相差在10％以内的，可归为同一等级；

步骤2、开始工作后，当一个数据包到来需要检测时,调度器首先获取数据包长度，对数据包产生的负载进行评估，评估方法是通过数据包长度与以太网最大传输单元(MTU)1500Bytes的比值，得出该数据包所产生的负载等级k,k＝1,…,K。k值相差在10％以内的，可归为同一等级；

步骤3、利用马尔科夫决策过程就本发明所要解决的具体调度问题建模，调度器通过模型进行决策，决定分配哪个性能等级的检测引擎去检测这一数据包；

步骤4、当一个检测引擎完成检测后，如果调度器没有再分配别的检测任务，它将暂时空闲；

步骤5、当一个检测引擎还被分配有其他检测任务时，它将马上去完成调度器指派的另一检测任务；

步骤6、当一个检测请求到来时,如果分布式入侵检测系统中没有空闲的检测引擎,调度器将记录这一检测请求并放入队列,一旦队列满额,这个新到的数据包将不得不被放弃检测。如果分布式入侵检测系统中有空闲的检测引擎时,将不会将数据包放入队列等待；

因为下一个到来的数据包负载等级是不确定的，而且队列的长度是有限的，所以对于检测引擎数量固定的分布式入侵检测系统来说，本发明提出的任务调度算法可以做出最优决策使系统整体负载降低。

本发明的特点还在于，

步骤3的具体过程如下：

步骤3.1，基于步骤3，定义参数；

步骤3.2，基于步骤3.1所得结果确定状态空间；

步骤3.3，基于步骤3.2所得结果确定决策时刻；

步骤3.4，基于步骤3.3所得结果确定动作集合；

步骤3.5，基于步骤3.4所得结果确定转移速率与转移概率；

步骤3.6，基于步骤3.5所得结果确定价值函数和最优策略；

步骤3.7，基于步骤3.6所得结果进行策略迭代。

步骤3.1的具体过程为：