[发明专利]一种Spark分布式计算数据处理方法及系统有效
| 申请号： | 201710742728.5 | 申请日： | 2017-08-25 |
| 公开（公告）号： | CN107526546B | 公开（公告）日： | 2020-09-11 |
| 发明（设计）人： | 毛睿;陆敏华;陆克中;朱金彬;隋秀峰 | 申请（专利权）人： | 深圳大学 |
| 主分类号： | G06F3/06 | 分类号： | G06F3/06 |
| 代理公司： | 深圳市恒申知识产权事务所(普通合伙) 44312 | 代理人： | 王利彬 |
| 地址： | 518060 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明公开了一种Spark分布式计算数据处理方法，涉及计算机领域，该方法包括：通过任务调度器调度子任务，执行RDD分区数据存储任务，申请存储区空间；计算存储区内可驱逐空间及空间的大小，根据分区数据访问热度设置混合存储系统的迁移地址；读取指定存储区内已缓存数据并释放相应的内存空间，迁移分区数据到指定地址，修改迁移数据的持久化级别，反馈驱逐成功信号及驱逐空间信息。本发明还公开了一种Spark分布式计算系统，通过引入混合存储系统，并设计驱逐逻辑单元和缓存数据迁移单元，根据分区数据热度将数据迁移至SSD或HDD，而非直接将数据迁移至磁盘或踢除已缓存的数据，能够有效地缓解内存空间不足的压力，实现Spark性能的提升。 | ||
| 搜索关键词： | 一种 spark 分布式 计算 数据处理 方法 系统 | ||
【主权项】：
暂无信息
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于深圳大学，未经深圳大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710742728.5/，转载请声明来源钻瓜专利网。
