[发明专利]数据的存储方法及装置

说明书

本发明提供了一种数据的存储方法及装置，包括：获取多个业务应用上传的日志消息；使用第一组件将日志消息转化为指标格式的第一指标数据，其中，指标格式是能够被目标实例抓取的数据格式；将第一指标数据发送至目标集群，以通过目标集群存储所述第一指标数据。通过本发明，解决了Promtheus难以管理大量数据的问题。

技术领域

本发明涉及通信领域，具体而言，涉及一种数据的存储方法及装置。

背景技术

在采集数据量较小的业务场景下，单实例Prometheus是及数据采集、查询与警报一体化的解决方案。如果数据量大一些会采用切分实例的方式来解决问题，此时数据的查询便需要根据业务路由到不同的Prometheus实例上。维护压力还不是很大，然而当数据量再变大，需要管理几十甚至上百的Prometheus实例时，通过手动路由的方式来管理数据查询便不再是最优的解决方案，并且无法紧急扩容甚至会导致内存溢出。因此会产生一些列连锁反应。对Prometheus合理分片、统一数据出口、数据存储规划，在大业务场景下是不得不面对的问题。

使用Prometheus过程中运维场景主要有两类，其一是伸缩Prometheus实例，第二是Promtheus扩容。这两个场景暴露了4个主要问题：实例伸缩缓慢，Promtheus实例同时承担了数据写入和查询的责任，当查询压力大时，无法根据需求快速伸缩；配置查询繁琐，统一查询层需要路由多Promtheus实例，新增实例需要手动配置路由信息，非常繁琐；数据丢失严重，由于资源限制，Promtheus都是单副本，实例挂了就意味着数据丢失，并且由于启动慢更是加重了数据丢失的问题；容量规划滞后，往往是实例先发生内存溢出再扩容，而这也意味着数据已发生丢失。

针对上述问题，目前尚未存在有效的解决方案。

发明内容

本发明实施例提供了一种数据的存储方法及装置，以至少解决相关技术中Promtheus难以管理大量数据的问题。

根据本发明的一个实施例，提供了一种数据的存储方法，包括：获取多个业务应用上传的日志消息；使用第一组件将所述日志消息转化为指标格式的第一指标数据，其中，所述指标格式是能够被目标实例抓取的数据格式；将所述第一指标数据发送至目标集群，以通过所述目标集群存储所述第一指标数据。

可选地，使用第一组件将所述日志消息转化为指标格式的第一指标数据，包括：对所述多个业务应用上传的日志消息进行清洗，得到待转化日志消息；将所述待转化日志消息转化为所述第一指标数据。

可选地，在将所述待转化日志消息转化为所述第一指标数据之后，所述方法还包括：将所述指标数据记录在第一组件，其中，所述第一组件中记录了历史指标数据；通过所述第一组件对所述指标数据和所述历史指标数据的状态进行维护。

可选地，所述方法还包括：通过所述目标实例在配置文件中抓取第二指标数据，其中，所述配置文件定时请求自定义配置和附件信息，并将所述自定义配置和所述附件信息渲染为目标实例的标准配置。

可选地，所述方法还包括：在第一时间间隔到达时，将所述目标集群中存储的所述第一指标数据上传至存储中心，以通过所述存储中心存储所述第一指标数据；在第二时间间隔到达时，将所述目标实例抓取的所述第二指标数据上传至所述存储中心，以通过所述存储中心存储所述第二指标数据。

可选地，将所述目标集群中存储的所述第一指标数据上传至存储中心，以通过所述存储中心存储所述第一指标数据，包括：对所述第一指标数据进行降采样，得到第一降采样数据；将所述第一降采样数据进行压缩后，存储至所述存储中心。

可选地，将所述目标实例抓取的所述第二指标数据上传至所述存储中心，以通过所述存储中心存储所述第二指标数据，包括：对所述第二指标数据进行降采样，得到第二降采样数据；将所述第二降采样数据进行压缩后，存储至所述存储中心。