[发明专利]基于强化学习的DIDS中低负载与丢包率的平衡方法

权利要求书

1.基于强化学习的DIDS中低负载与丢包率的平衡方法，其特征在于：具体包括如下步骤：

步骤1，工作开始前，对分布式入侵检测系统中的各检测引擎进行性能评估，收集该检测系统对测试流量的检测时间dt和内存占用mu信息，并将d作为检测引擎的性能指标，对所有检测引擎测试后，根据性能高低将检测引擎分成不同等级d,d＝1,…,D，d值相差在10％以内的，归为同一等级；

步骤2，开始工作后，当一个数据包到来需要检测时,调度器首先获取数据包长度，对数据包产生的负载进行评估，得出该数据包所产生的负载等级k,k＝1,…,K，k值相差在10％以内的，归为同一等级；

步骤3，利用马尔科夫决策过程进行建模，确定建模需要的状态空间、动作集合、转移速率、转移概率、价值函数、最优策略和策略迭代方式，调度器通过模型进行决策，决定分配哪个性能等级的检测引擎去检测这一数据包；

步骤4，在决策过程中，调度器将根据丢包率的变化，调节低负载与丢包率的平衡；

所述步骤4的具体过程如下：

步骤4.1，基于步骤3，计算立即检测率；

所述步骤4.1的具体过程为：

对于任意的平稳策略f∈F，立即检测率p_f(ISR)为

其中，b是队列允许的长度，是与策略f相对应的平稳概率分布；s＝(N(D,K),B(K),r)为状态，X₁、X₃为集合X中的状态；b_k为等待检测的k等级数据包排队的队列长度；

步骤4.2，基于步骤4.1所得结果计算理论丢包率；

所述步骤4.2的具体过程为：

对于任意的平稳策略f∈F，理论丢包率p_f(LR)为

其中，X₂为集合X中的状态；

步骤4.3，根据步骤4.2所得结果计算平均数据包到达数；

所述步骤4.3的具体过程为：

令f∈F为一平稳策略，则系统中的平均数据包到达数为

其中NT是检测引擎的总数，b为队列长度，NT和b的关系是

步骤4.4，根据步骤4.3所得结果计算数据包平均等待数；

所述步骤4.4的具体过程为：

令公式(15)中的则系统里的数据包平均等待数为其中

X_q代表状态X₁～X₄；s是初始状态，X₄表示状态；

步骤4.5，基于步骤4.4所得结果计算数据包等待概率；

所述步骤4.5的具体过程为：

在步骤4.1“f∈F为一平稳策略，是与策略f相对应的平稳概率分布”这一条件下，n个数据包等待的概率是

步骤4.6，基于步骤4.5所得结果计算检测引擎被分配的任务数量、分配任务的概率及工作效率；

所述步骤4.6的具体过程为：

d等级检测引擎被分配的任务数量的计算过程为：

其中，n＝1,2,...n_d,d＝1,2,...,D；

n个d等级检测引擎被调度器分配检测任务的概率是：

公式(19)中，对所有的n，d的取值范围为d＝1,2,...,D，α是调节丢包率的参数；

d等级检测引擎的工作效率为

其中，n_d为d等级的检测引擎总数，d＝1,…,D；n_dk为正在检测k等级数据包的d等级的检测引擎数，d＝1,…,D,k＝1,…,K；

步骤4.7，根据步骤4.6所得结果计算分布式入侵检测系统整体的工作效率；

所述步骤4.7的具体过程为：

根据C(d)得出分布式入侵检测系统整体的工作效率为

其中，NT表示所有检测引擎的总数，

步骤4.8，根据步骤4.7所得结果进行低负载与丢包率这两个矛盾指标的平衡；

所述步骤4.8的具体过程为：

包括如下三种情况：

(1)当丢包率低于低阈值T_L时，检测引擎被分配任务的概率中的α被设定为1，此时调度器按照低负载优先的原则进行任务调度；

(2)当丢包率高于低阈值T_L时且低于高阈值T_H时，将中的α设定为此时调度器按照低负载和低丢包率兼顾的原则进行任务调度；

(3)当丢包率高于高阈值T_H时，α将恢复为1，此时调度器按照低丢包率的原则进行任务调度；

基于上述三种情况，为了调节低负载与丢包率的平衡，检测引擎被分配检测任务的概率按照如下公式执行：

其中，n_f为分布式入侵检测系统整体的工作效率；

步骤5，当一个检测引擎完成检测后，如果调度器没有再分配别的检测任务，该检测引擎将暂时空闲；

步骤6，当一个检测引擎还被分配有其他检测任务时，该检测引擎将马上去完成调度器指派的另一检测任务；

步骤7，当一个检测请求到来时，如果分布式入侵检测系统中没有空闲的检测引擎，调度器将记录这一检测请求并放入队列，一旦队列满额，这个新到的数据包将不得不被放弃检测，如果分布式入侵检测系统中有空闲的检测引擎时，将不会将数据包放入队列等待。