[发明专利]一种流量抽样方法、装置和计算机可读存储介质

说明书

本申请实施例公开了一种流量抽样方法、装置和介质，将获取的原始流量包分流成多个IP流量组；根据各IP流量组的IP层数据和应用层数据，将IP流量组中源端发送的数据包存储至第一链表，将IP流量组中目的端发送的数据包存储至第二链表。每个IP流量组有其对应的第一链表和第二链表，在第一链表和第二链表中存储了一个IP数据流的所有来回会话的完整信息。按照设定的抽样规则，对第一链表和第二链表中存储的数据包进行抽样，以得到抽样数据。通过将原始流量包分流成多个IP流量组，根据IP层数据和应用层数据还原IP数据流，使得流量抽样时可以基于IP流进行定向抽样，在抽样过程中最大程度的保留了数据流的完整性。

技术领域

本申请涉及安全检测技术领域，特别是涉及一种流量抽样方法、装置和计算机可读存储介质。

背景技术

在对城域网出口流量做流量安全检测的场景中，由于城域网出口流量非常大，基本上是TB/s级别以上，受网络安全检测设备软硬件的限制，无法使用全流量采集检测。而使用流量抽样检测已经成为大流量安全检测中的一种重要的方法。

常见的流量抽样方式包括周期抽样、随机抽样和分层抽样。周期抽样是使用固定时间间隔的抽样方法，此方法比较简单，但测量性能不佳。随机抽样是根据预先定义的随机过程来确定抽样的起点和抽样间隔，此方法样本之间是相互独立的，避免了周期抽样导致的同步影响。分层抽样是将总体元素根据分层特征分为若干子集。然后再从子集中提取样本的方法，此方法能够减少抽样过程本身的开销并在相同样本容量的情况下获得较高的测量精度。目前的抽样方法均是基于数据包抽样，但是基于数据包抽样可能因为抽样设备性能问题，导致抽取不到一条数据流的所有来回会话的完整信息。

可见，如何在抽样过程中最大程度保留数据流的完整性，是本领域技术人员需要解决的问题。

发明内容

本申请实施例的目的是提供一种流量抽样方法、装置和计算机可读存储介质，可以在抽样过程中最大程度保留数据流的完整性。

为解决上述技术问题，本申请实施例提供一种流量抽样方法，包括：

将获取的原始流量包分流成多个IP流量组；

根据各所述IP流量组的IP层数据和应用层数据，将所述IP流量组中源端发送的数据包存储至第一链表，将所述IP流量组中目的端发送的数据包存储至第二链表；

按照设定的抽样规则，对所述第一链表和所述第二链表中存储的数据包进行抽样，以得到抽样数据。

可选地，所述将获取的原始流量包分流成多个IP流量组包括：

解析所述原始流量包中各流量数据的IP层数据；

对各所述IP层数据进行哈希运算，以得到各所述流量数据的哈希值；将具有相同哈希值的流量数据作为一个IP流量组。

可选地，在所述按照设定的抽样规则，对所述第一链表和所述第二链表中存储的数据包进行抽样，以得到抽样数据之后还包括：

将所述抽样数据存储至预设的缓存空间。

可选地，在按照设定的抽样规则，对所述第一链表和所述第二链表中存储的数据包进行抽样，以得到抽样数据之后还包括：

按照所述抽样数据的应用层数据对应的解析规则，对所述抽样数据进行解析，以得到解析后的流量数据；

判断所述解析后的流量数据是否与预先设定的IDS规则库中的规则匹配；

若存在与所述IDS规则库中规则相匹配的流量数据，则进行告警提示。

可选地，在所述将获取的原始流量包分流成多个IP流量组之前还包括：

对所述原始流量包中不符合报文标准格式的数据包进行丢弃。