[发明专利]大数据增量迭代方法、装置、计算机设备和存储介质

说明书

本申请涉及一种大数据增量迭代方法、装置、计算机设备和存储介质。一个实施例中的方法包括：接收由图形处理器执行的有向无环图任务，获取与有向无环图任务对应的数据集，将数据集存储至图形处理器内存中的缓存；响应所述有向无环图任务，对数据集进行迭代计算，得到迭代计算后的数据集，并以迭代计算后的数据集对所述缓存中存储的数据集进行更新；当数据集发生增量变化时，基于缓存中存储的迭代计算后的数据集进行增量迭代计算，得到增量迭代后的数据集，以增量迭代后的数据集对所述缓存中的数据集进行更新。可以隐藏低带宽的输入/输出延迟，减少重复计算，从而减少计算总时间，提高大数据处理效率。

技术领域

本发明涉及数据处理领域，特别是涉及一种大数据增量迭代方法、装置、计算机设备和存储介质。

背景技术

随着社交网络、深度学习、大规模图计算等研究领域的发展，这些研究领域在社会应用发展中取得了巨大的进步，其应用范围越来越广，比如语音识别、图像识别、虚拟现实、增强现实、社交推荐等。在这些非线性的计算中存在大量的增量迭代计算，由于迭代过程本身存在重复的工作，优化这些工作将对计算效率产生显著影响。

在某些应用场景中，输入数据可能因为各种原因动态变化，而对数据的处理流程基本不变。输入数据的动态变化往往是从不同来源采集新的数据，传统的大数据处理方法，每次数据处理都针对所有的输入数据，需要付出大量的计算时间和资源；且随着输入数据的不断累积，所需的时间和资源将不断增加。即传统的大数据处理方法存在计算效率低的问题。

发明内容

基于此，有必要针对上述问题，提供一种可以提高大数据处理效率的大数据增量迭代方法、装置、计算机设备和存储介质。

一种大数据增量迭代方法，包括：

接收由图形处理器执行的有向无环图任务，获取与所述有向无环图任务对应的数据集，将所述数据集存储至图形处理器内存中的缓存；

响应所述有向无环图任务，对所述数据集进行迭代计算，得到迭代计算后的数据集，并以所述迭代计算后的数据集对所述缓存中存储的数据集进行更新；

当所述数据集发生增量变化时，基于所述缓存中存储的所述迭代计算后的数据集进行增量迭代计算，得到增量迭代后的数据集，以所述增量迭代后的数据集对所述缓存中的数据集进行更新。

在一个实施例中，所述缓存为共享内存，所述方法还包括：

当检测到所述共享内存上的数据集存储量大于预设阈值时，通过基于块的滑动窗口机制将所述共享内存上的数据集迁移至全局内存。

在一个实施例中，所述方法还包括：

当检测到与所述有向无环图任务对应的增量迭代计算停止时，将所述全局内存上的数据集迁移至中央处理器内存。

在一个实施例中，所述获取与所述有向无环图任务对应的数据集，将所述数据集存储至图形处理器内存中的缓存，包括：

获取与所述有向无环图任务对应的RDD格式的数据集；

对所述RDD格式的数据集进行数据格式转换，得到G-RDD格式的数据集，将所述G-RDD格式的数据集存储至图形处理器内存中的缓存。

在一个实施例中，所述对所述RDD格式的数据集进行数据格式转换，得到G-RDD格式的数据集，将所述G-RDD格式的数据集存储至图形处理器内存中的缓存，包括：

将所述RDD格式的数据集存储至数据缓冲区，调取所述数据缓冲区中的RDD格式的数据集进行数据格式转换，得到G-RDD格式的数据集，将所述G-RDD格式的数据集存储至图形处理器内存中的缓存。

在一个实施例中，所述获取与所述有向无环图任务对应的数据集，将所述数据集存储至图形处理器内存中的缓存，包括：