[发明专利]高性能网络流量数据表示和提取方法和系统

说明书

本申请涉及一种高性能网络流量数据表示和提取方法和系统。所述方法包括：读取待处理数据包；当查询到待处理数据包存在连接记录、且待处理数据包对应的流量未提交时，将待处理数据包存储至数据包数组中，数据包数组与连接记录对应；确定连接记录对应的待执行数据表示任务、并执行；从数据包数组中获取待执行数据表示任务对应的目标网络流量、并缓存；当连接记录对应的数据表示任务均执行完时，输出已缓存的目标网络流量。采用本方法能够通过监控数据表示任务的执行，实现对满足网络流量检测的数据要求的目标网络流量的获取，进而通过输出可被直接处理的目标网络流量，能够提高网络流量检测效率。

技术领域

本申请涉及计算机技术领域，特别是涉及一种高性能网络流量数据表示和提取方法和系统。

背景技术

随着计算机技术的发展，出现了基于机器学习的网络流量检测技术，该技术主要利用机器学习实现对网络流量的分析，确定是否存在恶意攻击或威胁。

传统技术中，网络流量检测方法主要为利用机器学习方法对网络流或者网络会话进行特征工程和分析。比如，网络流量检测方法具体可以为针对网络会话的前几十个数据包进行特征工程，提取到能够识别网络流量分类的特征，基于该特征对网络流量进行分类。又比如，网络流量检测方法具体可以为把网络会话前几百个字节直接转换为像素值，再进行图像特征提取和分类。

然而，传统技术中所处理的数据主要为被表示为一定长度的网络流或网络会话，但目前的流量处理引擎主要都是为深度包检测或者提取网络流的元数据来设计的，无法直接满足网络流量检测的数据要求，导致网络流量检测效率低。

发明内容

基于此，有必要针对上述技术问题，提供一种能够提高网络流量检测效率的高性能网络流量数据表示和提取方法、系统、计算机设备和存储介质。

一种高性能网络流量数据表示和提取方法，所述方法包括：

读取待处理数据包；

当查询到待处理数据包存在连接记录、且待处理数据包对应的流量未提交时，将待处理数据包存储至数据包数组中，数据包数组与连接记录对应；

确定连接记录对应的待执行数据表示任务、并执行；

从数据包数组中获取待执行数据表示任务对应的目标网络流量、并缓存；

当连接记录对应的数据表示任务均执行完时，输出已缓存的目标网络流量。

在一个实施例中，在读取待处理数据包之后，还包括：

获取连接查询表；

当连接查询表中存在与待处理数据包对应的连接记录时，获取连接记录中的提交标志状态信息；

根据提交标志状态信息判断流量是否提交。

在一个实施例中，还包括：

当连接查询表中不存在与待处理数据包对应的连接记录时，创建与待处理数据包对应的新连接记录；

根据新连接记录在预设的连接跟踪表中创建对应的新连接跟踪记录；

对新连接跟踪记录进行跟踪，当新连接跟踪记录的已创建连接时长达到预设连接超时阈值时，输出与新连接跟踪记录对应的网络流量、将新连接跟踪记录删除。

在一个实施例中，在获取连接记录中的提交标志状态信息之后，还包括：

根据连接记录，确定预设的超时跟踪表中的超时跟踪记录；

更新超时跟踪记录，对更新后的超时跟踪记录进行监控；

当更新后的超时跟踪记录满足预设提交超时条件时，输出与更新后的超时跟踪记录对应的网络流量、将更新后的超时跟踪记录从超时跟踪表中删除。