[发明专利]一种基于流的异常通联行为检测方法和系统

权利要求书

1.一种基于流的异常通联行为检测系统，布置在企业内部网络的服务器上，其特征在于，该系统包括配置管理模块、数据采集模块、数据存储模块、重点目标异常检测模块以及一般目标异常检测模块；

配置管理模块用于：(1)配置重点目标IP和一般目标IP；重点目标IP是由用户报送或监测分析网络流数据获得的内部网络内的IP地址，内部网络内除去重点目标IP的IP地址为一般目标IP；(2)配置白名单IP，白名单中记载访问内部网络的合法、安全的对端IP；(3)配置重点目标IP的稳定端口，根据已知的重点目标IP开发的服务和端口来配置稳定端口；

数据采集模块对接内部网络的路由器或网络分流设备；路由器或网络分流设备配置netflow/netstream功能，采集网络流数据发送给数据采集模块；数据采集模块对获得的流数据进行解析，将解析得到的流数据信息以kafka的方式写入到数据存储模块；所述的流数据信息包括源IP地址、目的IP地址、源端口、目的端口、开始时间、结束时间、协议类型、TCP标志位、包数和字节数；

数据存储模块从kafka消息队列中读取流数据信息，对重点目标的每条流数据信息都进行存储，对一般目标以5分钟或1小时作为最小粒度，统计各个端口的流量时间序列；所述的流量时间序列存储五元组以及包数、字节数，所述五元组包括源IP地址、目的IP地址、源端口、目的端口和协议类型，所记录的包数和字节数是随时间变化的值，所记录的每个值是一个在最小粒度的统计值；

重点目标异常检测模块用于：(1)从历史流数据信息中获取通信对象的通信时长与通信字节数，构建重点目标的稳定通信对象模型；(2)构建重点目标的多维特征向量，其中特征项包括流方向、流网络协议类型、服务端口号和流量指标，从历史流数据信息中统计各特征项的值；对各特征项的统计值进行正态分布与对数正态分布两种分布规律的假设检验，对于服从正态分布规律的特征项，计算均值和标准差作为统计阈值，对于服从对数正态分布规律的特征项，计算对数均值和对数标准差作为统计阈值，建立阈值模型；(3)利用阈值模型对待检测流量进行检测；在检测时，获得待检测流量中每个时间窗口内每个特征项的观测值，根据特征项的统计分布规律，计算其均值和标准差或者对数均值和对数标准差，然后与阈值模型中对应的统计阈值进行比对，计算偏离程度；偏离程度由待检测流量的均值/对数均值与阈值模型的均值/对数均值间的差值，比上阈值模型中标准差/对数标准差，所获得的倍数来确定；

一般目标异常检测模块用于：(1)利用基于时间序列的流量变化模型进行检测，包括：对端口流量的时间序列，减去其中的趋势性分量和周期性分量，获得随机波动特征，随机波动特征符合正态分布的定义，根据置信度，应用正态分布假设检验计算随机波动特征偏离标准差的系数，找到流量突增点；(2)利用流数据聚合模型进行检测，所述的流数据聚合模型从五元组中选取不同分组进行不同粒度的构建，根据所选粒度对流数据信息进行分组，再对字节数和包数进行聚合操作，通过排序找到异常行为。

2.根据权利要求1所述的检测系统，其特征在于，所述的数据存储模块提供基于IP地址的数据检索方式，还基于白名单对流数据信息进行过滤。

3.根据权利要求1或2所述的检测系统，其特征在于，所述的系统还包括异常评估模块，异常评估模块综合重点目标异常检测结果和一般目标异常检测结果，对异常发生时的各项特征进行加权求和，综合评估异常等级和异常类型，生成异常检测报告。