[发明专利]内存计算的缓存优化方法

权利要求书

1.一种内存计算的缓存优化方法，其特征在于，该方法包括：

构造DAG步骤：在Spark的源程序代码中插入监听代码，以样本数据作为输入预先执行应用程序，对应用程序进行动态语义分析，获取所有RDD函数操作的输入RDD ID、操作类型、输出RDD ID，根据获取的信息构造DAG；

筛选RDD步骤：遍历上述DAG，计算各顶点的出度，筛选出出度大于1的顶点对应的RDD并建立RDD集合S，该集合S中的RDD为需要缓存至内存中的RDD；

Action执行顺序调整步骤：调整上述RDD集合S中所有RDD的Action执行顺序，以优化需要缓存至内存的RDD数据计算的访问顺序；

RDD权重计算步骤：计算所述RDD集合S中所有RDD的权重；

RDD替换步骤：当输入真正的作业数据执行应用程序时，根据优化的RDD数据计算的访问顺序，依次将RDD缓存至内存，若内存已满，根据内存替换算法决定从内存中被替换出的RDD；

RDD处理步骤：根据多级缓存算法确定被替换出的RDD是直接丢弃还是存储至磁盘。

2.如权利要求1所述的内存计算的缓存优化方法，其特征在于，在所述构造DAG步骤中，将输入RDD ID和输出RDD ID作为顶点，输入RDD和输出RDD进行的函数操作的操作类型为边，构造DAG。

3.如权利要求1所述的内存计算的缓存优化方法，其特征在于，在所述Action执行顺序调整步骤中，是根据贪心算法调整集合S中所有RDD的Action执行顺序，包括以下步骤：

a）查找所述RDD集合S中的所有RDD的Action，合并有依赖关系的Action为一个新Action，合并后的多个新Action与无依赖关系的Action共同形成一个Action集合A；

b）创建空集合R和空序列S^’；

c）从Action集合A中任意选取一个Action A_i，将A_i加入序列S^’的末尾，将A_i对应的RDD加入到集合R；

d）迭代执行步骤c，直至集合A中的元素为空，则序列S^’即为调整的Action执行顺序，其中，迭代执行从集合A中选取Action A_i时，选取的依据是所选取的A_i对应的RDD与集合R的交集最大。

4.如权利要求1所述的内存计算的缓存优化方法，其特征在于，在所述权重计算步骤中，RDD权重的计算公式为：

其中，IS(P(RDD_i))为RDD_i的父RDD的大小、CC(RDD_i)为RDD_i的计算代价、UT(RDD_i)为RDD_i的使用次数、OS(RDD_i)为RDD_i的大小、LC(RDD_i)为RDD_i的生命周期，RDD_i的计算代价包括RDD操作和闭包操作的复杂程度，RDD_i的使用次数为DAG中该RDD_i顶点的出度，RDD_i的生命周期为RDD_i创建至销毁过程中Action的个数，f为用于归一化的校正参数。

5.如权利要求4所述的内存计算的缓存优化方法，其特征在于，所述RDD的大小根据动态采样法进行计算：

采样：取作业数据中的一定大小的数据作为样本数据；

计算对象大小：将样本数据作为输入，执行应用程序，计算执行过程中的对象大小，所述对象包括各类型变量；

汇总：汇总RDD的所有对象的大小即为RDD的大小。