[发明专利]一种基于数据持久化的Spark平台成本优化方法

权利要求书

1.一种基于数据持久化的Spark平台成本优化方法，其特征在于，包括：

步骤一：构建基准成本率模型，定义数据分片在计算或存储状态下单位时间的成本消耗，包括：

1)根据云服务提供商的定价标准，引入资源实例单价参数，包括CPU：Cost_C，磁盘存储：Cost_D，内存：Cost_M；

2)根据数据分片的两种存在状态即计算或持久化，分别定义其基准成本模型，包括：

计算d_i：

上式中，d_i指代数据分片，t_a(d_i)表示由d_i前一块数据分片生成d_i所需的时间，表示d_i之前所有连续未被持久化的数据分片集合，d_j in d_front(d_i)表示d_i的一个数据分片前驱节点d_j；

磁盘持久化d_i：CostD_persist(d_i)＝d_size×Cost_D×t_s；

上式中，d_size表示d_i所占用Hadoop分布式文件系统的大小，t_s表示d_i被持久化在磁盘中的时间；

内存持久化d_i：Cost_Mpersist(d_i)＝0，α1，

Cost_Mpersist(d_i)＝(Per_mem-s_mem_left)×Cost_D×t_j，α≥1；

上式中，α为启动混合介质持久化的阈值，用于判定是否需要混合介质持久化，α＝(Per_mem/s_mem_left)；Per_mem表示d_i被持久化所需的内存大小，s_mem_left表示可被用作持久化的内存的剩余空间，t_j表示d_i被持久化在内存中的时间；

3)引入基准成本率模型，将不同量纲的基准成本模型进行统一计算，其含义为单位时间内资源的成本花费，包括：

持久化资源基准成本率：

计算资源基准成本率：CostR_com(d_i)＝Cost_com(d_i)×f(d_i)；

上式中，f(d_i)表示d_i被重复使用的频率；

步骤二：构建目标应用程序的Attention-DAG图即注意力-有向无环图，包括：

1)根据Spark DAG图，确定所有复用RDD以及复用RDD的所有出度与出边方向；

2)抽取复用RDD所在Job中的全部RDD；一个Job中的全部RDD按照其计算顺序组成Attention-DAG中的一个阶段，多个Job在Attention-DAG图中产生多个阶段；根据复用RDD的出度以及出边方向，在图中的复用RDD间连线，以此构建应用程序的Attention-DAG图；

步骤三：结合Spark Checkpoint特性，构建成本优化方案，如下：

对Attention-DAG图中的RDD逐一进行下述操作：

1)对RDD即数据分片d_i做出是否持久化的判断，包括：

计算d_i的计算资源基准成本率CostR_com(d_i)和持久化资源基准成本率CostR_persist(d_i)；

若CostR_com(d_i)CostR_persist(d_i)，则将该d_i标注为持久化状态，令其成本率为CostR(d_i)＝CostR_persisit(d_i)；同时使用PInfo(d_i)保存d_i前驱RDD节点的元数据信息，即令PInfo(d_i)＝Lineage(d_i)，其中Lineage代表RDD父子节点间的血统关系；

若CostR_com(d_i)CostR_persist(d_i)，则该d_i的状态不做更改，令其成本率为CostR(d_i)＝CostR_com(d_i)；

2)对于前驱RDD节点数据分片d_j∈d_front(d_i)，先将其预标注为持久化状态，并对d_front(d_i)集合中的成员进行更新，得到

dNew_front(d_i)＝d_front(d_i)-d_j-d_front(d_j)；

计算此时d_i的成本率NCostR(d_i)，

其中d_m in dNew_front(d_i)表示d_i的一个数据分片前驱节点d_m；

若NCostR(d_i)CostR(d_i)，则将该d_j实际标注为持久化状态，并更新d_i的成本率为CostR(d_i)＝NCostR(d_i)，以及令d_j的成本率为CostR(d_j)＝CostR_persist(d_j)；否则，去掉d_j的预标注，其状态不做更改；

步骤四：根据成本优化方案，对目标应用程序进行同环境配置下的执行。