[发明专利]基于深度包检测的网络实时大数据系统及大数据分析方法

权利要求书

1.一种基于深度包检测的网络实时大数据系统，其特征在于：该大数据系统包括深度包检测控制单元、深度包检测单元、数据库单元、数据挖掘单元和联机分析处理单元，其中：

所述深度包检测控制单元用于：获取上层应用的信息需求；将上层应用的信息需求用特定的信息转换为网络数据收集的策略，并将所述策略下达给深度包检测单元；

所述深度包检测单元用于：根据所述策略从网络中收集相应的数据；同时，深度包检测单元将收集的数据提交到数据库单元中；

所述数据库单元用于：根据收集的数据建立数据库；

所述数据挖掘单元和联机分析处理单元用于：基于数据库中的数据，进行挖掘和联机分析处理，得到上层应用需要的信息，并将得到的信息提交给上层应用实体使用；

所述深度包检测单元实现初步的信息解析和转换，将数据包映射为数据库单元的接口模块要求的K-V结构，再由数据库单元的接口模块映射到数据库单元的存储结构；K表示关键值，V表示值，K是准结构化的，V是完全非结构化的，K由行值、列值、时戳三部分共同组成，其中行值、列值为非结构的数据，V是包含文件、视频、声音在内的任何数据；

所述数据库单元基于NOSQL数据库生成，数据库单元的接口模块负责完成提交上来的数据到数据库的转换和映射。

2.如权利要求1所述的基于深度包检测的网络实时大数据系统，其特征在于：所述深度包检测单元仅收集上层应用感兴趣的数据，摒弃剩余的海量的对上层应用无价值的数据。

3.如权利要求1所述的基于深度包检测的网络实时大数据系统，其特征在于：所述系统包括一个或多个深度包检测单元、一个或多个深度包检测控制单元，每个深度包检测控制单元控制一个或多个深度包检测单元。

4.如权利要求1所述的基于深度包检测的网络实时大数据系统，其特征在于：所述深度包检测单元在处理网络中的某数据包时，如果发现某数据包匹配上已存在的策略、并且该策略指定的操作是送达数据库单元时，则将该数据包携带的数据提交给数据库单元。

5.如权利要求1至4中任一项所述的基于深度包检测的网络实时大数据系统，其特征在于：所述数据库单元的接口模块适配与数据库关联的各单元或组件，即与数据库关联的各单元或组件不因数据库的改变而改变。

6.一种基于深度包检测的网络实时大数据分析方法，其特征在于，包括以下步骤：

S1、获取上层应用对信息的需求；

S2、将上层应用的信息需求转换为网络数据收集的策略；

S3、根据上述策略从网络中得到相应的数据；实现初步的信息解析和转换，将数据包映射为数据库单元的接口模块要求的K-V结构，再由数据库单元的接口模块映射到数据库单元的存储结构；K表示关键值，V表示值，K是准结构化的，V是完全非结构化的，K由行值、列值、时戳三部分共同组成，其中行值、列值为非结构的数据，V是包含文件、视频、声音在内的任何数据；

S4、根据步骤S3收集的数据建立数据库，起到衔接深度包检测技术和大数据分析技术的作用；基于NOSQL数据库生成数据库单元，数据库单元的接口模块完成提交上来的数据到数据库的转换和映射；

S5、基于所述数据库，利用联机分析技术和数据挖掘技术，得到上层应用需要的信息；

S6、将步骤S5得到的信息提交上层应用实体使用。

7.如权利要求6所述的基于深度包检测的网络实时大数据分析方法，其特征在于：步骤S3中仅收集上层应用感兴趣的数据，摒弃剩余的海量的对上层应用无价值的数据。