[发明专利]一种基于数据持久化的Spark平台成本优化方法

摘要

本发明公开了一种基于数据持久化的Spark平台成本优化方法，包括构建基准成本率模型，构建目标应用程序的Attention‑DAG图即注意力‑有向无环图，结合Spark Checkpoint特性构建成本优化方案，根据成本优化方案对目标应用程序进行同环境配置下的执行等步骤。本发明的积极效果是：(1)提出一种广义分布式云计算环境下的基准成本率模型。对于具有不同工作特点的分布式计算框架来说，该基准成本率模型能够为评价优化算法的效果提供一种统一量纲的量化指标。(2)提出了一种基于数据持久化的Spark平台成本优化方法。该方法可作为一种成本优化的方法论，能够广泛用于任意具有持久化机制的系统或框架中，其核心思想是寻求计算成本与存储成本的平衡。

主权项

1.一种基于数据持久化的Spark平台成本优化方法，其特征在于，包括：步骤一：构建基准成本率模型，定义数据分片在计算或存储状态下单位时间的成本消耗，包括：1)根据云服务提供商的定价标准，引入资源实例单价参数，包括CPU：CostC，磁盘存储：CostD，内存：CostM；2)根据数据分片的两种存在状态即计算或持久化，分别定义其基准成本模型，包括：计算d_i：上式中，d_i指代数据分片，t_a(d_i)表示由d_i前一块数据分片生成d_i所需的时间，表示d_i之前所有连续未被持久化的数据分片集合，d_j in d_front(d_i)表示d_i的一个数据分片前驱节点d_j；磁盘持久化di：CostDpersist(di)＝dsize×CostD×ts；上式中，dsize表示di所占用Hadoop分布式文件系统的大小，ts表示di被持久化在磁盘中的时间；内存持久化di：CostMpersist(di)＝0，α<1，CostMpersist(di)＝(Permem‑s_mem_left)×CostD×tj，α≥1；上式中，α为启动混合介质持久化的阈值，用于判定是否需要混合介质持久化，α＝(Permem/s_mem_left)；Permem表示di被持久化所需的内存大小，s_mem_left表示可被用作持久化的内存的剩余空间，tj表示di被持久化在内存中的时间；3)引入基准成本率模型，将不同量纲的基准成本模型进行统一计算，其含义为单位时间内资源的成本花费，包括：持久化资源基准成本率：计算资源基准成本率：CostRcom(di)＝Costcom(di)×f(di)；上式中，f(di)表示di被重复使用的频率；步骤二：构建目标应用程序的Attention‑DAG图即注意力‑有向无环图，包括：1)根据Spark DAG图，确定所有复用RDD以及复用RDD的所有出度与出边方向；2)抽取复用RDD所在Job中的全部RDD；一个Job中的全部RDD按照其计算顺序组成Attention‑DAG中的一个阶段，多个Job在Attention‑DAG图中产生多个阶段；根据复用RDD的出度以及出边方向，在图中的复用RDD间连线，以此构建应用程序的Attention‑DAG图；步骤三：结合Spark Checkpoint特性，构建成本优化方案，如下：对Attention‑DAG图中的RDD逐一进行下述操作：1)对RDD即数据分片di做出是否持久化的判断，包括：计算di的计算资源基准成本率CostRcom(di)和持久化资源基准成本率CostRpersist(di)；若CostRcom(di)>CostRpersist(di)，则将该di标注为持久化状态，令其成本率为CostR(di)＝CostRpersisit(di)；同时使用PInfo(di)保存di前驱RDD节点的元数据信息，即令PInfo(di)＝Lineage(di)，其中Lineage代表RDD父子节点间的血统关系；若CostRcom(di)其中dm in dNewfront(di)表示di的一个数据分片前驱节点dm；若NCostR(di)

下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。 免登录下载普通用户下载升级VIP会员，免费下载

该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于西南交通大学，未经西南交通大学许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】

本文链接：http://www.vipzhuanli.com/patent/201810346476.9/，转载请声明来源钻瓜专利网。