[发明专利]威胁情报数据的感知方法、装置、电子装置和存储介质

权利要求书

1.一种威胁情报数据的感知方法，其特征在于，包括：

获取威胁情报数据；

将所述威胁情报数据输入到强化学习模型中，得到行为期望表，其中，所述强化学习模型是基于Q-learning学习算法训练的；其中，当威胁情报数据的数量低于用户设定的预设阈值时，采用Sarsa算法或期望Sarsa算法来生成行为期望表；

根据所述行为期望表，确定所述威胁情报数据的攻击源，包括：通过探针，根据每个状态在所述行为期望表里对应的行为和当前的奖赏值，选取奖励值最大的行为；重复上述步骤，直至确定所述攻击源。

2.根据权利要求1所述的威胁情报数据的感知方法，其特征在于，获取威胁情报数据包括：

通过探针实时获取流量数据；

根据预设筛选规则，从所述流量数据中获取威胁情报数据。

3.根据权利要求2所述的威胁情报数据的感知方法，其特征在于，所述流量数据包括以下至少之一：IP地址变动数据、MAC地址变动数据、端口地址变动数据、网络访问数据。

4.根据权利要求1所述的威胁情报数据的感知方法，其特征在于，获取威胁情报数据包括：

从数据库中获取历史威胁情报数据，并将所述历史威胁情报数据作为所述威胁情报数据。

5.根据权利要求1所述的威胁情报数据的感知方法，其特征在于，所述基于Q-learning学习算法训练强化学习模型包括：

基于∈-贪婪法在所述强化学习模型中的当前节点S选择第一动作A，以使得在行为期望表中从当前节点S延伸到下一节点S′，并确定即时奖励R；

在所述下一节点S′，计算基于贪婪法在所述下一节点S′选择第二动作A′的收获Gt，并根据所述收获Gt和所述即时奖励R，更新Q-learning学习算法的价值函数Q。

6.一种威胁情报数据的感知装置，其特征在于，包括：

获取模块，用于获取威胁情报数据；

输入模块，用于将所述威胁情报数据输入到强化学习模型中，得到行为期望表，其中，所述强化学习模型是基于Q-learning学习算法训练的；其中，当威胁情报数据的数量低于用户设定的预设阈值时，采用Sarsa算法或期望Sarsa算法来生成行为期望表；

确定模块，根据所述行为期望表，确定所述威胁情报数据的攻击源，包括：通过探针，根据每个状态在所述行为期望表里对应的行为和当前的奖赏值，选取奖励值最大的行为；重复上述步骤，直至确定所述攻击源。

7.根据权利要求6所述的威胁情报数据的感知装置，其特征在于，所述获取模块包括：第一获取单元，用于通过探针实时获取流量数据；第二获取模块单元，根据预设筛选规则，从所述流量数据中获取威胁情报数据。

8.根据权利要求6所述的威胁情报数据的感知装置，其特征在于，所述获取模块还包括：第三获取模块，用于从数据库中获取历史威胁情报数据，并将所述历史威胁情报数据作为所述威胁情报数据。

9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1至5中任一项所述的威胁情报数据的感知方法。

10.一种存储介质，其特征在于，所述存储介质中存储有计算机程序，其中，所述计算机程序被设置为运行时执行权利要求1至5中任一项所述的威胁情报数据的感知方法。