[发明专利]一种面向云平台的安全监控数据采集与存储方法

说明书

本发明涉及一种面向云平台的安全监控数据采集与存储方法，该方法包括：依次初始化remote和local消息队列，获取采集插件的相关信息；数据采集后端根据已加载的插件信息运行采集插件，获取云平台基础数据；数据采集后端将采集到的数据通过消息队列发送给传输代理；启动传输代理broker，该代理负责与监控代理通信，收集监控数据并保存进数据库中。通过TagModel和MetricModel所有文档的时间戳，将其缓存在内存中；在缓存中查询TagModel，取得监控指标的Tags；向缓存和数据库中同时插入一条记录或以Tags和时间戳作为查询条件，在当前监控测量值模型CurrentModel中查询从而更新数据库中相应文档或生成一条新的文档存入数据库。本发明获取全面且存储方式合理，不会产生重复存储。

技术领域

本发明涉及一种云平台安全监控数据处理方法，尤其涉及一种面向云平台的安全监控数据采集与存储方法。

背景技术

云计算以其成本低廉、快速部署和规模灵活等优势吸引了学术界和工业界的高度关注，与此同时，针对云平台的安全监控与分析也成为了研究热点。

但是现有虚拟化平台采集到的基础数据粒度过粗，无法及时精准地反映云平台安全状态。

云平台中多个虚拟化软件共存，基础数据来源多样化，缺乏统一表达方式，不适合直接用于展示与分析。

云平台数据源遍布整个计算体系的各个层次，包涵主机，网络，存储等线上线下丰富数据来源。然而，云平台内部包含超大规模服务节点，节点内中又包含海量的、层次复杂的服务，节点间也会形成规模庞大结构复杂的网络。从各类节点、服务中采集到的基础数据汇总成为层次多，数据量大，数据类型复杂的数据集。对这样的数据集进行信息提取和分析十分的困难。

发明内容

本发明实施例所要解决的技术问题在于，针对现有云平台从各类节点、服务中采集到的基础数据汇总成为层次多，数据量大，数据类型复杂的数据集对这样的数据集进行信息提取和分析十分的困难的问题，提出了一种面向云平台的安全监控数据采集与存储方法。

为了解决上述技术问题，本发明实施例提供了一种面向云平台的安全监控数据采集与存储方法，包括步骤：初始化消息队列步骤，依次初始化监控代理传输到云计算平台的消息队列remote和监控代理传输到本地存储的消息队列local；载入采集插件步骤，获取采集插件的相关信息；采集数据步骤，数据采集后端根据已加载的插件信息运行采集插件，获取云平台基础数据；发送数据步骤，数据采集后端将采集到的数据通过消息队列发送给传输代理；上述步骤为数据采集步骤，下列步骤为数据存储步骤：启动传输代理broker，预读TagModel和MetricModel所有文档的时间戳，并将其缓存在内存中；在缓存中查询TagModel，取得监控指标的Tags；若缓存命中，则向缓存和数据库中同时插入一条记录；若缓存未命中，则以Tags和时间戳作为查询条件，在CurrentModel中查询；若查询到存在相应文档，则更新数据库中相应文档的Value值；若未查询到存在相应文档，则需要生成一条新的文档，存入数据库。

其中，在进行数据存储时，使用统一数据表达方式。

其中，统一数据表达方式为使用四元组：Name、Tags、Value以及TimeStamp来描述一条监控数据。

其中，在进行数据存储时，进行数据去重处理。

其中，在进行数据去重处理时，包括如下两个步骤：基础数据标签分离；数据压缩。

其中，基础数据标签分离的步骤包括：将冗余信息集中的Name和Tags字段独立出来作为TagModel，其它模型以TagModel为外键，以实现标签分离机制。

其中，数据压缩步骤包括：将预定时间内的数据压缩存储到一条文档内以降低时序性所带来的监控指标数据冗余，同时，在MetricModel中增加cur_v和cur_t字段分别表示当前小时内的最新数据和最新时间戳。