[发明专利]一种数据聚合方法、装置、设备及计算机可读存储介质

说明书

本申请公开了一种数据聚合方法、装置、设备及计算机可读存储介质，该方法包括：获取初始数据，并将初始数据写入源存储池；从源存储池中读取多个待聚合数据；对待聚合数据进行聚合处理，得到聚合数据；将聚合数据写入目的存储池，并更新各个待聚合数据对应的元数据；在获取初始数据后并不立即对其进行聚合，而是先将其写入，在需要聚合时读出。若在读出待聚合数据等待聚合处理时发生缓存失效故障，或在聚合处理的过程中发生缓存失效故障，由于待聚合数据已经被写入了源存储池，因此不会出现数据丢失问题。

技术领域

本发明涉及数据聚合技术领域，特别涉及一种数据聚合方法、数据聚合装置、数据聚合设备及计算机可读存储介质。

背景技术

大数据时代，海量数据越来越多，大小为几K、十几K的小文件读写场景应用越来越多。为了降低磁盘的数据读写的压力，利用磁盘读写大文件的速度往往要显著高于小文件的原理，相关技术在写入小文件(例如大小为几K、十几K)时并非直接写入磁盘，而先写入缓存，在缓存中等待并合并为大文件(例如大小为M级别)之后再进行落盘操作，从而提高后续文件读写时的读写速度，减轻数据读写压力。然而，若发生缓存失效故障，缓存中没有来得及合并为大文件并被写入磁盘的小文件就会丢失。因此相关技术在数据聚合时可能造成数据丢失。

因此，如何解决相关技术在数据聚合时可能造成数据丢失的问题，是本领域技术人员需要解决的技术问题。

发明内容

有鉴于此，本申请的目的在于提供一种数据聚合方法、数据聚合装置、数据聚合设备及计算机可读存储介质，解决了相关技术在数据聚合时可能造成数据丢失的问题。

为解决上述技术问题，本申请提供了一种数据聚合方法，包括：

获取初始数据，并将所述初始数据写入源存储池；

从所述源存储池中读取多个所述待聚合数据；

对所述待聚合数据进行聚合处理，得到聚合数据；

将所述聚合数据写入目的存储池，并更新各个所述待聚合数据对应的元数据。

可选地，从所述源存储池中读取多个所述待聚合数据，包括：

从任务队列中获取第一聚合任务；

对所述初始数据进行筛选，得到与所述第一聚合任务对应的第一待聚合数据；

读取所述第一待聚合数据。

可选地，在所述读取所述待聚合数据之后，在将所述聚合数据写入目的存储池之前，还包括：

判断所述任务队列中是否存在第二聚合任务；

若存在所述第二聚合任务，则对所述初始数据进行筛选，得到与所述第二聚合任务对应的第二待聚合数据；

读取所述第二待聚合数据。

可选地，在将所述聚合数据写入目的存储池，并更新各个所述待聚合数据对应的元数据之后，还包括：

删除所述待聚合数据对应的第一副本数据；

生成所述聚合数据对应的第二副本数据。

可选地，还包括：

若检测到缓存失效故障，则重新读取所述待聚合数据。

可选地，还包括：

获取读取指令，并根据所述读取指令确定目标聚合数据；

对所述目标聚合数据进行解析，得到所述读取指令指定的目标数据；

输出所述目标数据。

可选地，所述源存储池为快速存储池，所述目的存储池为低速存储池。