[发明专利]一种基于流的异常通联行为检测方法和系统

摘要

本发明提供了一种基于流的异常通联行为检测方法和系统，属于网络安全异常事件被动发现领域。本发明的检测系统包括：配置白名单IP、重点目标IP和一般目标IP的配置管理模块，获取和存储网络流数据信息的数据采集模块和存储模块，分别对重点目标和一般目标进行检测的重点目标异常检测模块和一般目标异常检测模块以及异常评估模块。本发明检测方法对重要网络节点和普通网络节点采用不同的方法进行流量模型构建，分别进行网络异常检测，再关联重要目标和普通目标的网络事件，挖掘出具备一定危害的网络入侵行为和异常通联行为。本发明对各种类型的流量异常行为具备良好的发现能力，对流量数据的计算复杂度小，并且异常发现实时性强。

主权项

1.一种基于流的异常通联行为检测系统，布置在企业内部网络的服务器上，其特征在于，该系统包括配置管理模块、数据采集模块、数据存储模块、重点目标异常检测模块以及一般目标异常检测模块；配置管理模块用于：(1)配置重点目标IP和一般目标IP；重点目标是由用户报送或监测分析网络流数据获得的内部网络内的IP地址，内部网络内除去重点目标的IP地址为一般目标；(2)配置白名单IP，白名单中记载访问内部网络的合法、安全的对端IP；(3)配置重点目标IP的稳定端口，根据已知的重点目标IP开发的服务和端口来配置稳定端口；数据采集模块对接内部网络的路由器或网络分流设备；接收路由器或网络分流设备配置netflow/netstream功能，采集网络流数据发送给数据采集模块；数据采集模块对获得的流数据进行解析，将解析得到的流数据信息以kafka的方式写入到数据存储模块；所述的流数据信息包括源IP地址、目的IP地址、源端口、目的端口、开始时间、结束时间、协议类型、TCP标志位、包数和字节数；数据存储模块从kafka消息队列中读取流数据信息，对重点目标的每条流数据信息都进行存储，对一般目标以5分钟或1小时作为最小粒度，统计各个端口的流量时间序列；所述的流量时间序列存储五元组(源IP地址、目的IP地址、源端口、目的端口、协议类型)以及包数、字节数，所记录的包数和字节数是随时间变化的值，所记录的每个值是一个在最小粒度的统计值；重点目标异常检测模块用于：(1)从历史流数据信息中获取通信对象的通信时长与通信字节数，构建重点目标的稳定通信对象模型；(2)构建重点目标的多维特征向量，其中特征项包括流方向、流网络协议类型、服务端口号和流量指标，从历史流数据信息中统计各特征项的值；对各特征项的统计值进行正态分布与对数正态分布两种分布规律的假设检验，对于服从正态分布规律的特征项，计算均值和标准差作为统计阈值，对于服从对数正态分布规律的特征项，计算对数均值和对数标准差作为统计阈值，建立阈值模型；(3)利用阈值模型对带检测流量进行检测；在检测时，获得待检测流量中每个时间窗口内每个特征项的观测值，根据特征项的统计分布规律，计算其均值和标准差或者对数均值和对数标准差，然后与阈值模型中对应的统计阈值进行比对，计算偏离程度；偏离程度由待检测流量的均值/对数均值与阈值模型的均值/对数均值间的差值，比上阈值模型中标准差/对数标准差，所获得的倍数来确定；一般目标异常检测模块用于：(1)利用基于时间序列的流量变化模型进行检测，包括：对端口流量的时间序列，减去其中的趋势性分量和周期性分量，获得随机波动特征，随机波动特征符合正态分布的定义，根据置信度，应用正态分布假设检验计算随机波动特征偏离标准差的系数，找到流量突增点；(2)利用流数据聚合模型进行检测，所述的流数据聚合模型从五元组中选取不同分组进行不同粒度的构建，根据所选粒度对流数据信息进行分组，再对字节数和包数进行聚合操作，通过排序找到异常行为。