[发明专利]一种应用于云审计系统的数据采集装置

摘要

本发明公开了一种应用于云审计系统的数据采集装置，该装置向上外接云审计系统的审计数据中心子系统，向下外接数据源；包括用于采集日志数据的日志审计子系统和用于采集网络流量数据的网络审计子系统。数据采集装置负责根据云审计员下发的规则为云审计系统收集各虚拟机、物理机、网络设备、Hypervisor等产生的日志信息、流量数据。数据采集装置为云审计系统后期的关联分析等其他审计工作提供数据来源，是云审计系统重要的下层模块。

主权项

一种应用于云审计系统的数据采集装置，向上外接云审计系统的审计数据中心子系统，向下外接数据源；包括：用于采集日志数据的日志审计子系统和用于采集网络流量数据的网络审计子系统；其特征在于：所述的日志审计子系统包括：用于收集日志数据的日志收集服务器和用于分析处理日志数据的日志分析处理引擎；其特征在于，所述的日志收集服务器还包括：日志采集模块，用于对外部日志源进行日志数据采集；日志缓存模块，用于将采集的日志数据进行后续处理的缓存；日志分发模块，用于根据日志分析处理引擎的审计指令将对应的日志数据分发到日志分析处理引擎；所述的日志分析处理引擎还包括：日志标准化模块，用于将采集到的日志数据标准化处理；日志索引模块，用于将日志数据建立分布式索引；日志关联分析模块，用于根据预设的关联规则库的规则进行日志数据关联分析，并根据关联分析结果对日志数据进行分类入库；日志数据上报模块，用于将完成分类入库的原始日志数据发送到kafka系统；所述的网络审计子系统包括：网络审计处理引擎，用于审计从云数据中采集到的网络中虚拟机流量和物理机流量；主机流量采集代理，用于采集虚拟机流量并分发至网络审计处理引擎；网络流量采集代理，用于采集物理机流量并分发至网络审计处理引擎；所述的网络审计处理引擎还包括：网络数据处理模块，用于采用分布式实时在线分析系统对网络数据进行分布式处理，首先订阅特征向量主题，将数据从kafka中读取出来，并进行预处理，将数据序列化为avro形式，然后进行特征向量处理，最后写入kafka与HDFS；网络数据规则匹配模块，用于通过特征向量的DPI标识判断网络数据是否为非真实性网络协议、通过对特征向量与网络访问基线进行匹配判断网络数据是否为网络异常、通过对特征向量与服务器外联基线进行匹配判断网络数据是否为服务器违规外联、通过对特征向量与开放端口基线进行匹配判断网络数据是否为异常服务；当任一判断为异常时，发生报警信息；网络数据索引模块，用于对分布式存储的数据生成分布式索引；策略数据库，用于存储审计策略、抓包过滤策略、定向抓包策略；所述的主机流量采集代理还包括：抓包模块，用于对外接虚拟机流量源的网络流量进行抓取并按照过滤策略进行过滤；协议识别模块，用于识别出网络流量的源ip、目的ip、源端口、目的端口、网络层协议、应用层协议；通用特征向量解析模块，用于按包提取网络层、传输层的信息、提取流信息；对于tcp协议的会话，解析并上报syn包的特征向量；对于udp协议的会话，解析并上报第一个包；对基于流的特征向量进行解析；分发模块，用于把数据包分发到缓存队列中；缓存队列的个数根据配置文件建立，和创建的深度特征向量解析线程匹配，每个深度特征向量解析线程分别对应一个缓存队列；同一个数据流上的数据包放在同一个缓存队列中，新建数据流上的数据包在各个缓存队列中轮流进行选择；深度特征向量解析模块，用于启动一个以上的深度特征向量解析线程，根据数据包的应用类型动态选择对应的深度特征向量解析插件进行解析；策略接收模块，用于从策略数据库读取抓包过滤策略、从策略数据库读取定向抓包策略；并在设定时间间隔更新抓包过滤策略及定向抓包策略；定向抓包模块，用于执行上位系统发送的定向抓包命令，将抓取的数据包通过数据上报模块反馈至所述上位系统；数据上报模块，用于将抓取的数据包通过数据通道反馈到上位系统；把通用特征向量通过数据通道上报给上位系统；把深度特征向量通过数据通道上报上位机；把定向包以pcap文件的形式通过数据通道上报给上位系统，或者以文件的形式存在本地；所述的网络流量采集代理结构与主机流量采集代理相同，抓包的采集对象为外接的物理机流量源。