[发明专利]基于深度包检测的网络实时大数据系统及大数据分析方法

摘要

本发明公开了一种基于深度包检测的网络实时大数据系统及大数据分析方法，涉及深度包检测和大数据分析领域。该系统包括深度包检测单元、深度包检测控制单元、数据库单元、数据挖掘单元和联机分析处理单元，该系统根据上层应用的需求，实时收集网络中的大数据，将大数据中有价值的信息提取出来，提交给上层应用实体使用。该方法包括以下步骤：获取上层应用的信息需求；将该信息需求转换为网络数据收集的策略；根据策略从网络中收集相应的数据，建立数据库；基于数据库，分析和挖掘得到上层应用需要的信息；将得到的信息提交上层应用实体使用。本发明将网络技术和大数据分析技术结合，既能满足网络相关应用的要求，又不会大幅增加硬件的投入。

主权项

1.一种基于深度包检测的网络实时大数据系统，其特征在于：该大数据系统包括深度包检测控制单元、深度包检测单元、数据库单元、数据挖掘单元和联机分析处理单元，其中：所述深度包检测控制单元用于：获取上层应用的信息需求；将上层应用的信息需求用特定的信息转换为网络数据收集的策略，并将所述策略下达给深度包检测单元；所述深度包检测单元用于：根据所述策略从网络中收集相应的数据；同时，深度包检测单元将收集的数据提交到数据库单元中；所述数据库单元用于：根据收集的数据建立数据库；所述数据挖掘单元和联机分析处理单元用于：基于数据库中的数据，进行挖掘和联机分析处理，得到上层应用需要的信息，并将得到的信息提交给上层应用实体使用；所述深度包检测单元实现初步的信息解析和转换，将数据包映射为数据库单元的接口模块要求的K‑V结构，再由数据库单元的接口模块映射到数据库单元的存储结构；K表示关键值，V表示值，K是准结构化的，V是完全非结构化的，K由行值、列值、时戳三部分共同组成，其中行值、列值为非结构的数据，V是包含文件、视频、声音在内的任何数据；所述数据库单元基于NOSQL数据库生成，数据库单元的接口模块负责完成提交上来的数据到数据库的转换和映射。