[发明专利]一种基于深度策略梯度的入侵检测算法

说明书

本发明公开了一种基于深度策略梯度的入侵检测算法。该算法利用LSTM擅长处理时序数据的特点，在DPG算法的基础上，采用深度学习中的Long Short Term Mermory network(LSTM)代替Deterministic Policy Gradient(DPG)算法中的全连接层网络，基于LSTM神经网络构建了入侵检测智能体，并使用了策略梯度算法。入侵检测智能体利用LSTM神经网络输出入侵检测动作概率，基于该概率利用策略梯度算法优化LSTM神经网络参数，使得入侵检测智能体探索到最优的入侵检测策略。

技术领域

本发明公开涉及计算机网络信息安全技术领域，尤其涉及一种基于深度策略梯度的入侵检测算法。

背景技术

深度强化学习技术同时具有感知与决策能力，非常适合入侵检测的控制策略。但是，深度Q-learning(DQN)算法有很多局限性，DQN制定策略时，需要比较各种动作对应的价值大小，当遇到动作空间维度较高或者连续时，很难从中选出一个最大值函数对应的动作。此外，DQN无法学习到一些随机策略，导致很难计算价值函数。相反，作为深度强化学习的另一个代表深度策略梯度(DPG)算法一方面具有很好的收敛性，因为基于策略梯度的学习每次能朝着正确的方向改善一点，另一方面能够随机学习到一些连续动作空间的控制策略。

由于攻击的时序数据且动态变化，DPG算法使用的全连接层网络没有考虑到数据的非线性变化，无法更深层次提取数据特征和信息挖掘。此外，LSTM网络(长短期记忆网络)虽然克服了RNN(循环神经网络)会产生梯度消失或梯度爆炸的问题，但是LSTM网络也无法考虑到金融数据的非线性变化。

发明内容

鉴于此，本发明公开提供了一种基于深度策略梯度的入侵检测算法。将深度学习的神经网络和强化学习的策略梯度算法相结合，同时利用了深度学习的感知能力、特征提取能力以及强化学习的决策能力，然后将其应用在入侵检测。

本发明提供的技术方案，具体为，一种基于深度策略梯度的入侵检测算法，该算法中构建了入侵检测智能体，所述入侵检测智能体包括：能够根据历史入侵检测数据预测未来状态的感知模块；及根据当前入侵检测环境状态和历史信息决定此时采取什么入侵检测策略的决策模块；

应用所述入侵检测智能体，所述入侵检测算法包括如下步骤：

1)获取经过数据处理后的数据x₁,x₂,...,x_T并生成特征向量作为当前环境状态状态s_t；其中，所述当前环境状态s_t由入侵检测智能体与入侵检测环境交互生成；

2)选择执行动作a_t，环境反馈给智能体的奖励r_t，以及交互生成的新的环境状态s_t+1，之后以元组(s_t，a_t，r_t，s_t+1)的形式存储在经验池中；

3)入侵检测智能体计算一个入侵检测过程所有时刻入侵检测环境反馈给入侵检测智能体的累积奖励以及期望值；

4)入侵检测智能体根据策略梯度算法更新入侵检测策略π_θ，最终实现最大化步骤3)所获得的期望奖励；

5)判断是否到达终止状态，如果是，则执行步骤6)，否则返回到步骤2)；

6)入侵检测智能体根据最新的入侵检测策略进行入侵检测。

所述入侵检测环境包括：

1)策略：采用随机性策略，通过参数概率分布π_θ(a|s)来表示，计算公式如下：

π_θ(a|s)＝p(a|s；θ) (1)