[发明专利]一种流量深度解析数据的快速检索系统和方法

说明书

本发明提供了一种流量深度解析数据的快速检索系统和方法，该系统包括：数据过滤单元，用于根据预设流量数据的数据格式，对缓存至本地缓存队列中的流量数据进行过滤；数据存储单元，用于根据预定义的模板，将数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；数据检索单元，用于根据数据存储单元存储的检索索引，在数据库中检索出与检索请求对应的流量数据。本公开通过数据存储单元，用于根据预定义的模板，将数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；并通过数据检索单元，精准、且快速地从数据库中检索出与检索请求对应的流量数据。

技术领域

本发明涉及计算机技术领域，具体而言，涉及一种流量深度解析数据的快速检索系统和方法。

背景技术

工控系统面临着日益严峻的安全风险，一旦关键行业的工控系统受到攻击，对个人、企业甚至国家的安全都会造成影响，如果对网络中的原始流量进行深度解析，并对解析后形成的结构化数据进行监测审计，对整个工控网络威胁的实时监测以及安全事件的定位追溯都具有重要意义。

工控网络系统采用的通信协议复杂多样，且网络流量数据量巨大，对流量的实时解析、传输、快速存储和检索带来挑战。

传统的基于关系型数据库的schema设计往往基于确定的数据结构(属性列)，无法满足针对灵活的不可以预知属性的动态扩展存储，同时也无法满足对大数据集的实时检索要求；目前比较流行的NOSQL数据库，如Redis，MongoDB等无法满足多字段实时检索的问题。

因此，在长期的研发当中，发明人对流量数据的检索方法进行了大量的研究，提出了一种流量数据的检索方法，以解决上述技术问题之一。

发明内容

本发明的目的在于提供一种流量深度解析数据的快速检索系统、方法、介质和电子设备，能够解决上述提到的至少一个技术问题。具体方案如下：

根据本发明的具体实施方式，第一方面，本公开提供一种流量数据的检索系统，包括：

数据收集与缓存单元，用于通过多个流量引擎采集并解析流量数据，并将解析后的流量数据缓存至本地缓存队列中；

数据过滤单元，用于根据预设流量数据的数据格式，对缓存至所述本地缓存队列中的所述流量数据进行过滤；

数据存储单元，用于根据预定义的模板，将所述数据过滤单元过滤出的流量数据存储到数据库中，并存储对应的检索索引；

数据检索单元，用于根据所述数据存储单元存储的所述检索索引，在所述数据库中检索出与检索请求对应的流量数据。

可选的，所述系统还包括：

模板映射结构定义单元，用于对所述数据存储单元存储的各个预定义的模板类型的模板映射结构进行预先定义。

可选的，所述系统还包括：

获取单元，用于获取所述模板映射结构定义单元定义出的各个模板的模板映射结构信息；

其中，所述模板映射结构信息至少包括：

属性名信息、类型信息和对应的描述信息。

可选的，所述系统还包括：

添加数据单元，用于将待添加的流量数据，通过设置于所述数据存储单元上的添加接口添加至所述数据库中。

可选的，所述系统还包括：

删除数据单元，用于通过设置于所述数据存储单元上的删除接口，将待删除的流量数据从所述数据库中删除。

可选的，所述系统还包括：