[发明专利]一种基于大数据的实时网络异常行为检测系统及方法

摘要

本发明公开了一种基于大数据的实时网络异常行为检测系统，包括流量采集层、数据管道层、实时计算层、数据存储层、数据分析层以及应用层；所述流量采集层，包括采集装置；所述数据管道层，包括采用分布式消息系统的数据管道服务模块；所述实时计算层，包括流式计算模块；所述数据存储层，包括分布式文件服务模块、分布式数据库模块以及检索服务模块；所述数据分析层，包括模型训练模块、实时检测模块；所述应用层，包括可视化告警模块。还公开了一种一种基于大数据的实时网络异常行为检测方法。本发明数据采集效率高，数据传输稳定可靠，能够对高级持续性威胁进行高效检测和分析，可溯源取证，方便分析人员检索，模型训练效率高，误报率低。

主权项

1.一种基于大数据的实时网络异常行为检测系统，其特征在于：包括流量采集层、数据管道层、实时计算层、数据存储层、数据分析层以及应用层；所述流量采集层，包括对数据源进行流量采集的采集装置，所述采集装置提供流量采集服务，包括数据包捕获服务、数据包解析服务、本地落盘服务、数据特征提取服务、数据流序列化服务以及数据发送服务；所述采集装置通过数据包捕获服务捕获数据包，之后将采集的数据进行预处理，之后通过数据发送服务将经过预处理的数据传送到数据管道层，还通过本地落盘服务将原始数据包保存到数据存储层的分布式文件服务模块中；所述预处理中通过数据包解析服务给每个数据包打上唯一标签，通过数据特征提取服务对数据进行特征提取，通过数据流序列化服务处理成统一的二进制格式；所述数据管道层，包括数据管道服务模块，所述数据管道服务模块采用分布式消息系统；所述数据管道服务模块将经过预处理的数据放入分布式消息系统中以供实时计算层获取；所述实时计算层，包括流式计算模块，所述流式计算模块提供流式计算服务，所述流式计算服务包括特征反序列化与切割服务、特征统计分析服务以及特征入库服务；所述流式计算模块从数据管道层获取经过预处理的数据，通过特征反序列化与切割服务获得基础特征，通过特征统计分析服务获得统计特征，再将所述统计特征和协议特征追加到所述基础特征中形成总的特征，并通过特征入库服务将所述总的特征保存到所述数据存储层的分布式数据库模块中；所述实时计算层还将所述数据包的唯一标签与原始数据包存储路径的映射关系保存到数据存储层的分布式数据库模块中；所述数据存储层，包括分布式文件服务模块、分布式数据库模块以及检索服务模块；所述分布式文件服务模块，用于保存原始数据包；所述分布式数据库模块，用于保存实时计算层计算出来的总的特征，以及经过预处理后的数据包的唯一标签与原始数据包存储路径的映射关系；所述检索服务模块，用于存储计算结果数据，以及快速检索所述计算结果数据供应用层进行展示；所述数据分析层，包括模型训练模块、实时检测模块；所述模型训练模块，以所述分布式数据库模块中的特征作为输入通过机器学习来训练用于识别带有攻击行为的流量的模型；所述实时检测模块，将从实时计算层计算出来的特征通过模型训练模块中训练好的模型来进行检测，当检测出可疑流量时，所述数据分析层将可疑流量保存到检索服务模块中；所述应用层，包括可视化告警模块，所述可视化告警模块对保存在检索服务模块中的可疑流量进行展示和告警。