[发明专利]一种计算资源受限下大数据处理的细粒度缓存替换算法

说明书

本发明公开了一种计算资源受限下大数据处理的细粒度缓存替换算法，包括以下步骤：分析计算资源对缓存过程与缓存粒度的影响；在计算资源受限环境下考虑面向抽象数据集包含的数据块的缓存替换问题，以最小化大数据处理应用的整体执行时间为目标建立细粒度缓存替换问题的数学模型，模型决策每个时刻t的待缓存数据块；基于大数据处理算子的计算特征与面向数据块的贪心缓存策略对缓存替换问题进行转换；基于动态规划思想求解细粒度缓存替换问题。本发明通过分析计算资源与缓存粒度的关系，在计算资源受限场景下提出细粒度缓存替换算法，大幅减少了大数据处理应用的完成时间，同时提高了缓存过程的缓存命中率。

技术领域

本发明涉及大数据处理系统和面向大规模数据处理的内存优化技术，具体说是一种 计算资源受限下大数据处理的细粒度缓存替换算法。

背景技术

基于内存计算的大数据处理系统的缓存过程存在受限内存下的缓存需求。具体表现为：大数据处理系统将数据处理的所有中间数据写入内存，利用内存资源加速数据处理，这使得在内存资源有限的场景下，大规模数据处理应用的内存缓存决策问题尤为重要。基于内存的缓存方式将应用产生的中间数据直接写入内存，得益于无需从磁盘中重 新加载数据的优势，该方式能够进一步减少大规模数据处理应用的完成时间。由于内存 资源往往是大数据处理系统的瓶颈，数据处理框架无法在应用执行过程中将所有中间数 据缓存到内存，而需在应用运行时动态替换需缓存数据。高效的缓存替换决策能够提高 内存使用效率，大幅减少大数据处理应用的执行时间，因此正受到越来越多研究关注。

在典型的大数据处理系统中，由于抽象数据集和内存数据块均可被缓存，因此，在大数据处理应用中存在多粒度的缓存需求。计算资源与缓存数据的粒度存在关联。当计 算资源充足时，仅缓存抽象数据集的部分数据块并不会加速数据处理应用的整体运行， 这意味着在该场景下，应当考虑算子级别的粗粒度缓存替换问题。而在计算资源有限的 场景下，仅缓存抽象数据集的部分数据块即可加速数据处理应用的整体运行，因此在该 场景下，考虑数据块级别的细粒度缓存替换算法能进一步提升缓存性能。

针对大数据处理应用的缓存替换问题，已有研究工作的不足可总结为两点。首先，已有缓存替换策略缺乏分析大数据处理应用中的并行执行模式，将数据处理阶段、任务 视为串行执行，这与大数据处理系统的真实缓存过程不符。其次，已有工作仅研究计算 资源充足场景下面向数据处理算子的粗粒度缓存替换问题，缺乏计算资源受限场景下的 相关缓存替换研究。

基于这样的技术背景，我们提出了一种计算资源受限大数据处理的细粒度缓存替换 算法，该算法考虑了计算资源对缓存性能产生的影响。针对计算资源受限场景下多阶段并行式大数据处理应用的数据块级缓存替换问题，本发明提出了基于动态规划思想的细粒度缓存替换算法。

发明内容

针对大数据处理应用的缓存替换问题，本发明的目的是提供一种计算资源受限下大 数据处理的细粒度缓存替换算法，该算法同时考虑数据处理过程中的并行执行模式和计 算资源对缓存过程的影响，旨在提高大数据处理应用的缓存过程中内存资源使用效率，进一步提升缓存性能，从而大幅减少数据处理应用的执行时间。

为实现上述目的，本发明的技术方案如下：

本发明首先为多任务并行式大数据处理应用中的并行执行模式建立数学形式模型， 研究面向多任务并行式大数据处理应用的缓存替换问题。而后，本发明在计算资源受限 场景下考虑计算资源对缓存过程的影响，提出数据块级别的细粒度缓存替换算法。本发明包括如下步骤：

一种计算资源受限下大数据处理的细粒度缓存替换算法，其特征在于：首先为多任 务并行式大数据处理应用中的并行执行模式建立数学形式模型，而后，在计算资源受限场景下考虑计算资源对缓存过程的影响，提出数据块级别的细粒度缓存替换算法。包括 如下步骤：