[发明专利]一种Spark存储方法及系统

说明书

本公开公开了一种Spark存储方法及系统，方法包括：获取待存储数据，基于待存储数据确定分区策略，基于分区策略将待存储数据存储至对应的分区。本公开通过分区策略对数据进行自动重新分区存储，降低了后续数据的操作量，进而提高了整体计算效率。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种Spark存储方法及系统。

背景技术

Spark(计算引擎)存储是将数据通过自有的列式存储方式存储于内存或本地磁盘，得益于这种列式存储方式，大大提高了数据加载与计算效率。在实际应用中，Spark存储中数据的分区是与存储前的数据分区是一致的，即存储过程只是按照数据原来的分区方式，依次将每个分区的数据加载并做存储，整个过程不会对数据原有分区策略做任何变动。这样的存储方式并没有过多考虑到后续数据计算的需求，比如加载计算，尽管存储本身能加快数据的加载，但是依然无法避免由于数据密钥在不同分区中的无规则存储带来的拖拽类操作。

因此，如何提高整体计算效率，是一项亟待解决的问题。

发明内容

有鉴于此，本公开提供一种Spark存储方法，通过对数据进行自动重新分区存储，降低了后续数据的操作量，进而提高了整体计算效率。

本公开提供了一种Spark存储方法，包括：

获取待存储数据；

基于所述待存储数据确定分区策略；

基于所述分区策略将所述待存储数据存储至对应的分区。

优选地，所述基于所述待存储数据确定分区策略包括：

获取所述待存储数据指定的重分区密钥和分区参数；

基于所述指定的重分区密钥和分区参数对所述待存储数据进行重分区计算，得到所述分区策略。

优选地，所述分区参数包括：指定分区参数和系统分区参数。

优选地，所述基于所述待存储数据确定分区策略包括：

统计所述待存储数据在计算过程中对应的随机密钥；

判断所述随机密钥是否满足条件，若是，则：

将所述待存储数据按照所述随机密钥进行重分区计算，得到所述分区策略。

优选地，所述判断所述随机密钥是否满足条件包括：

判断所述随机密钥是否达到特定阈值，当所述随机密钥达到特定阈值时，所述随机密钥满足条件。

一种Spark存储系统，包括：

存储器，用于存储应用程序与应用程序运行所产生的数据；

处理器，用于运行所述应用程序以获取待存储数据；

所述处理器，还用于基于所述待存储数据确定分区策略；

所述处理器，还用于基于所述分区策略将所述待存储数据存储至对应的分区。

优选地，所述处理器在执行基于所述待存储数据确定分区策略时，具体用于：

获取所述待存储数据指定的重分区密钥和分区参数；

基于所述指定的重分区密钥和分区参数对所述待存储数据进行重分区计算，得到所述分区策略。

优选地，所述分区参数包括：指定分区参数和系统分区参数。

优选地，所述处理器在执行基于所述待存储数据确定分区策略时，具体用于：

统计所述待存储数据在计算过程中对应的随机密钥；