[发明专利]一种共享数据的处理方法、装置及服务器在审
| 申请号： | 201811545173.6 | 申请日： | 2018-12-17 |
| 公开（公告）号： | CN109800092A | 公开（公告）日： | 2019-05-24 |
| 发明（设计）人： | 谭俊;袁征帆 | 申请（专利权）人： | 华为技术有限公司 |
| 主分类号： | G06F9/54 | 分类号： | G06F9/54 |
| 代理公司： | 北京中博世达专利商标代理有限公司 11274 | 代理人： | 申健 |
| 地址： | 518129 广东*** | 国省代码： | 广东;44 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 一种共享数据的处理方法、装置及服务器，涉及通信技术领域，可以跨应用程序缓存共享数据，有利于跨应用共享数据，能够减少重复运算，有利于提升Spark架构的运算速度，该方法包括：接收第一指令，为第一应用程序启动第一Spark环境，创建第一应用程序的DAG，并在第一服务器的第一区域缓存第一应用程序的DAG；接收第二指令，为第二应用程序启动第二Spark环境，创建第二应用程序的DAG，并在第一服务器的第一区域缓存第二应用程序的DAG；从第一区域读取m个DAG，m个DAG包括第一应用程序的DAG和第二应用程序的DAG；根据m个DAG，确定待缓存的可共享RDD，并将待缓存的可共享RDD缓存在第二服务器的内存中，其中，可共享RDD为m个DAG中至少两个DAG都包含的RDD。 | ||
| 搜索关键词： | 应用程序 缓存 第一区域 共享数据 应用程序启动 第一服务器 共享 运算 服务器 通信技术领域 读取 指令 第二服务器 缓存共享 跨应用 创建 内存 架构 重复 | ||
【主权项】：
1.一种共享数据的处理方法，其特征在于，运用于服务器集群，所述方法包括：第一服务器接收启动第一应用程序的第一指令；响应于所述第一指令，所述第一服务器为所述第一应用程序启动第一Spark环境，创建所述第一应用程序的有向无环图DAG，并在所述第一服务器的第一区域缓存所述第一应用程序的DAG；所述第一服务器接收启动第二应用程序的第二指令；响应于所述第二指令，所述第一服务器为所述第二应用程序启动第二Spark环境，创建所述第二应用程序的DAG，并在所述第一服务器的所述第一区域缓存所述第二应用程序的DAG；所述第一服务器从所述第一区域读取m个DAG，所述m个DAG包括所述第一应用程序的DAG和所述第二应用程序的DAG；所述第一服务器根据所述m个DAG，确定待缓存的可共享弹性分布式数据集RDD，并将所述待缓存的可共享RDD缓存在第二服务器的内存中，其中，所述可共享RDD为所述m个DAG中至少两个DAG都包含的RDD。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于华为技术有限公司，未经华为技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811545173.6/，转载请声明来源钻瓜专利网。
- 上一篇：防止通知无视
- 下一篇：一种远程定制产品的客户端
