[发明专利]一种应用于云审计系统的数据采集装置

说明书

技术领域

本发明涉及一种云应用的数据采集装置，尤其涉及一种应用于云审计系统的数据采集装置。

背景技术

云计算是一种全新的领先信息技术，其结合IT技术和互联网实现超级计算和高存储能力。推动云计算兴起的动力是高速互联网、虚拟化技术、更加廉价且功能强劲的芯片及硬盘以及数据中心等技术的发展。云计算可以看作是分布式计算、并行计算、效用计算、网络存储、虚拟化以及负载均衡等传统计算机和网络技术发展融合的产物。云计算涉及的关键技术有很多，包括：通信、大规模分布式存储技术、海量数据处理技术、资源管理和虚拟化技术等。大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。大数据具有4V特点：Volume(大量)、Velocity(高速)、Variety(多样)、Value(价值)。大数据需要特殊的技术，以有效地处理大量的容忍经过时间内的数据。“移动互联网 +”的到来，意味着跨界融合，创新驱动，重塑结构，尊重人性，开放生态的时代到来。“移动互联网 +”就是“互联网”+ 各个传统行业，利用计算机技术、信息通信技术、云计算技术以及互联网平台，让互联网与传统行业进行深度融合，创造新的发展业态。大数据、云计算时代已经渗透到诸多行业和业务职能领域，成为重要的组成部分。根据权威的NIST定义，现有的云计算主要分为三种服务模式，分别是基础设施即服务IAAS(infrastructure as a service)，主要为用户提供基础设施服务，包括计算机、服务器、防火墙、存储设备和网络设备等；平台即服务 PAAS(platform as a service)，主要为用户提供应用程序开发、测试和部署平台，即是将一个完整的系统平台，包括应用设计、应用开发、应用测试、应用部署和应用托管，都作为一种服务提供给用户；软件即服务SAAS(software as a service)，主要是为用户提供应用程序等软件。可以说，云计算这三种服务模式都是从硬件设备的角度出发的。

对于电网大数据系统的审计工作量巨大，被审计数据不够全面，因此目前的审计系统根本无法完成电网大数据系统的审计需求。

发明内容

为了解决上述技术问题，本发明目的在于提供一种应用于云审计系统的数据采集装置。

本发明所述的一种应用于云审计系统的数据采集装置，向上外接云审计系统的审计数据中心子系统，向下外接数据源；包括：用于采集日志数据的日志审计子系统和用于采集网络流量数据的网络审计子系统；其特征在于：

所述的日志审计子系统包括：用于收集日志数据的日志收集服务器和用于分析处理日志数据的日志分析处理引擎；其特征在于，所述的日志收集服务器还包括：日志采集模块，用于对外部日志源进行日志数据采集；日志缓存模块，用于将采集的日志数据进行后续处理的缓存；日志分发模块，用于根据日志分析处理引擎的审计指令将对应的日志数据分发到日志分析处理引擎；

所述的日志分析处理引擎还包括：日志标准化模块，用于将采集到的日志数据标准化处理；日志索引模块，用于将日志数据建立分布式索引；日志关联分析模块，用于根据预设的关联规则库的规则进行日志数据关联分析，并根据关联分析结果对日志数据进行分类入库；日志数据上报模块，用于将完成分类入库的原始日志数据发送到kafka系统；

所述的网络审计子系统包括：网络审计处理引擎，用于审计从云数据中采集到的网络中虚拟机流量和物理机流量；主机流量采集代理，用于采集虚拟机流量并分发至网络审计处理引擎；网络流量采集代理，用于采集物理机流量并分发至网络审计处理引擎；

所述的网络审计处理引擎还包括：网络数据处理模块，用于采用分布式实时在线分析系统对网络数据进行分布式处理，首先订阅特征向量主题，将数据从kafka中读取出来，并进行预处理，将数据序列化为avro形式，然后进行特征向量处理，最后写入kafka与HDFS；网络数据规则匹配模块，用于通过特征向量的DPI标识判断网络数据是否为非真实性网络协议、通过对特征向量与网络访问基线进行匹配判断网络数据是否为网络异常、通过对特征向量与服务器外联基线进行匹配判断网络数据是否为服务器违规外联、通过对特征向量与开放端口基线进行匹配判断网络数据是否为异常服务；当任一判断为异常时，发生报警信息；网络数据索引模块，用于对分布式存储的数据生成分布式索引；策略数据库，用于存储审计策略、抓包过滤策略、定向抓包策略；