[发明专利]一种Spark存储方法及系统有效
| 申请号： | 201910236924.4 | 申请日： | 2019-03-27 |
| 公开（公告）号： | CN109947778B | 公开（公告）日： | 2022-04-19 |
| 发明（设计）人： | 李栋 | 申请（专利权）人： | 联想（北京）有限公司 |
| 主分类号： | G06F16/22 | 分类号： | G06F16/22 |
| 代理公司： | 北京集佳知识产权代理有限公司 11227 | 代理人： | 古利兰;王宝筠 |
| 地址： | 100085 北京市*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | |||
| 搜索关键词： | 一种 spark 存储 方法 系统 | ||
1.一种Spark存储方法，包括：
获取待存储数据；
基于所述待存储数据确定分区策略，不同的待存储数据对应不同的分区策略；
基于所述分区策略将所述待存储数据存储至对应的分区；
其中，所述基于所述待存储数据确定分区策略包括：
获取所述待存储数据指定的重分区密钥和分区参数，所述分区参数采用指定分区参数和系统分区参数中的一个；
读取所述待存储数据，并基于所述指定的重分区密钥和分区参数对所述待存储数据进行重分区计算，得到所述分区策略。
2.根据权利要求1所述的方法，所述基于所述待存储数据确定分区策略包括：
统计所述待存储数据在计算过程中对应的随机密钥；
判断所述随机密钥是否满足条件，若是，则：
将所述待存储数据按照所述随机密钥进行重分区计算，得到所述分区策略。
3.根据权利要求2所述的方法，所述判断所述随机密钥是否满足条件包括：
判断所述随机密钥是否达到特定阈值，当所述随机密钥达到特定阈值时，所述随机密钥满足条件。
4.一种Spark存储系统，包括：
存储器，用于存储应用程序与应用程序运行所产生的数据；
处理器，用于运行所述应用程序以获取待存储数据；
所述处理器，还用于读取所述待存储数据，并基于所述待存储数据确定分区策略，不同的待存储数据对应不同的分区策略；
所述处理器，还用于基于所述分区策略将所述待存储数据存储至对应的分区；
其中，所述处理器在执行基于所述待存储数据确定分区策略时，具体用于：
获取所述待存储数据指定的重分区密钥和分区参数，所述分区参数采用指定分区参数和系统分区参数中的一个；
基于所述指定的重分区密钥和分区参数对所述待存储数据进行重分区计算，得到所述分区策略。
5.根据权利要求4所述的系统，所述处理器在执行基于所述待存储数据确定分区策略时，具体用于：
统计所述待存储数据在计算过程中对应的随机密钥；
判断所述随机密钥是否满足条件，若是，则：
将所述待存储数据按照所述随机密钥进行重分区计算，得到所述分区策略。
6.根据权利要求5所述的系统，所述处理器在执行判断所述随机密钥是否满足条件时，具体用于：
判断所述随机密钥是否达到特定阈值，当所述随机密钥达到特定阈值时，所述随机密钥满足条件。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于联想（北京）有限公司，未经联想（北京）有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/pat/books/201910236924.4/1.html，转载请声明来源钻瓜专利网。
