[发明专利]一种数据持久化方法、系统、设备以及介质

说明书

本发明公开了一种数据持久化方法，包括以下步骤：创建数据库，并将多个节点上报的数据写入所述数据库中；判断利用创建的所述数据库存储所述数据是否达到预设条件；响应于达到预设条件，创建新的数据库并将所述数据写入所述新的数据库中，并返回判断利用创建的所述数据库存储所述数据是否达到预设条件；响应于触发数据合并，将当前已创建的所有数据库中的数据合并到磁盘。本发明还公开了一种系统、计算机设备以及可读存储介质。本发明提出的方案通过依次创建数据库来存储数据，不仅能够使得每一个数据库存储的数据少，进而提高数据库的读写速率，相比一个数据库也能减少进行数据合并的次数。

技术领域

本发明涉及数据存储领域，具体涉及一种数据持久化方法、系统、设备以及存储介质。

背景技术

如图1所示，通常的性能数据采集和存储架构分为两种角色：Master 节点和Agent节点，Agent节点采集本节点性能数据，发送给Master节点， Master节点接收Agent节点发来的数据，存储到内存数据库中。随着Agent 节点越来越多，Master节点接收的数据越来越多，所有数据都存储在内存数据库中，会占用大量内存资源。同时Master节点在单位时间内需要持久化的数据量越大，可能会超过数据库处理能力，造成数据持久化阻塞或数据丢失。

如何实现大量数据的持久化成为一个急需解决的问题。

发明内容

有鉴于此，为了克服上述问题的至少一个方面，本发明实施例提出一种数据持久化方法，包括以下步骤：

创建数据库，并将多个节点上报的数据写入所述数据库中；

判断利用创建的所述数据库存储所述数据是否达到预设条件；

响应于达到预设条件，创建新的数据库并将所述数据写入所述新的数据库中，并返回判断利用创建的所述数据库存储所述数据是否达到预设条件；

响应于触发数据合并，将当前已创建的所有数据库中的数据合并到磁盘。

在一些实施例中，还包括：

响应于数据合并完成，删除所述当前已创建的所有数据库，并返回创建数据库的步骤。

在一些实施例中，响应于达到预设条件，创建新的数据库并将所述数据写入所述新的数据库中，进一步包括：

响应于当前用于存储数据的数据库持续存储数据的时长达到时长阈值，创建新的数据库并将所述数据写入所述新的数据库中。

在一些实施例中，还包括：

响应于接收到数据读取请求，确定待读取的数据的产生时间；

根据所述产生时间确定所述待读取的数据对应的数据库；

在所述对应的数据库中获取所述待读取的数据并反馈。

在一些实施例中，响应于触发数据合并，将当前已创建的所有数据库中的数据合并到磁盘，进一步包括：

响应于当前已创建的数据库的数量达到数量阈值且最后一个创建的数据库持续存储数据的时长达到时长阈值，触发数据合并。

在一些实施例中，将当前已创建的所有数据库中的数据合并到磁盘，进一步包括：

对当前已创建的所有数据库中的数据进行筛选、过滤以及压缩处理后保存到所述磁盘中。

在一些实施例中，创建数据库，进一步包括：

在内存中创建数据库。

基于同一发明构思，根据本发明的另一个方面，本发明的实施例还提供了一种数据持久化系统，包括：

创建模块，所述创建模块配置为创建数据库，并将多个节点上报的数据写入所述数据库中；