[发明专利]工业物联网入侵检测网络架构构建方法、装置、设备及存储介质

权利要求书

1.一种工业物联网入侵检测网络架构构建方法，其特征在于，所述工业物联网入侵检测网络架构构建方法包括以下步骤：

基于历史物联网数据，获得环境状态数据，所述历史物联网数据为网络交互和系统状态的文本数据；

基于所述环境状态数据，获取入侵检测网络架构的奖励累积函数；

所述基于所述环境状态数据，获取入侵检测网络架构的奖励累积函数步骤，具体包括：

基于所述环境状态数据，获取每一时间步t的反馈信号r_t；

根据所述每一时间步t的反馈信号r_t，获取所述入侵检测网络架构的奖励累积函数；

所述基于所述环境状态数据，获取每一时间步t的反馈信号r_t步骤，具体包括：

当所述入侵检测网络架构检测到攻击入侵数据，并且成功分类所述攻击入侵数据的类型，获取正反馈信号r_t+1；或

当所述入侵检测网络架构未检测到攻击入侵数据或检测到攻击入侵数据未成功分类所述攻击入侵数据的类型，获取负反馈信号r_t-1；或

当所述入侵检测网络架构检测到网络用户数据，并且没有发出入侵检测数据，不反馈信号；

所述根据所述每一时间步t的反馈信号r_t，获取所述入侵检测网络架构的奖励累积函数步骤之后，还包括：

利用折扣因子处理所述入侵检测网络架构获得的奖励累积函数，获得处理后的奖励累积函数；

其中，所述处理后的奖励累积函数表达式为：

式中，γ∈[0,1]为折扣系数，t为环境状态中的时间步，R_t+k+1为时间步t到时间步t+k+1的奖励累积和；

根据所述奖励累积函数获得所述入侵检测网络架构的价值函数，并根据所述价值函数获得所述入侵检测网络架构的训练策略；

所述根据所述奖励累积函数获得所述入侵检测网络架构的价值函数，并根据所述价值函数获得所述入侵检测网络架构的训练策略步骤，具体包括：

根据所述奖励累积函数获得所述入侵检测网络架构的价值函数；

基于所述价值函数，获得所述入侵检测网络架构的状态值函数和动作值函数；

根据所述入侵检测网络架构的状态值函数和动作值函数，获取每个环境状态数据的价值和每个环境状态数据下分别做出不同动作的值；

选取当前环境状态数据下使得状态值函数和动作值函数最大值的动作，获得所述入侵检测网络架构的训练策略；

其中：

所述状态值函数的表达式为：

所述动作值函数的表达式为：

式中，为状态转化概率，为状态空间集，为动作空间集，R为奖励函数，s为状态，a为动作，s′为状态s转移的下一状态，a′为动作a执行的下一动作，π为策略；

利用所述奖励累积函数，获得所述入侵检测网络架构的损失函数，以得到入侵检测网络架构；

所述利用所述奖励累积函数，获得所述入侵检测网络架构的损失函数，以得到入侵检测网络架构步骤，具体包括：

基于所述奖励累积函数，处理所述训练策略的策略网络和价值网络，获得所述训练策略的优势函数值和更新新旧策略的比值；

根据所述优势函数值和所述更新新旧策略的比值构建所述训练策略的损失函数；

根据所述训练策略和所述损失函数，获得入侵检测网络架构。

2.如权利要求1所述的工业物联网入侵检测网络架构构建方法，其特征在于，所述基于历史物联网数据，获得环境状态数据步骤，具体包括：

根据历史物联网数据中的网络用户数据，获得所述环境状态数据中的普通网络用户；

根据历史物联网数据中的攻击入侵数据，获得所述环境状态数据中的恶意攻击者；

根据历史物联网数据中的入侵检测数据，获得所述环境状态数据中的检测管理员。