[发明专利]一种数据存储方法、系统、电子设备及存储介质

说明书

本申请公开了一种数据存储方法，应用于Spark计算框架，所述数据存储方法包括：确定持久内存设备的设备名称和预设文件大小；其中，所述持久内存设备为处于fsdax模式的设备；根据所述设备名称在所述持久内存设备中创建多个Spark任务对应的文件路径，并在每一所述文件路径下生成所述预设文件大小的持久内存文件；将每一所述Spark任务生成的中间数据存储至对应的所述持久内存文件。本申请能够灵活分配执行器的数量，使得Spark计算框架能够同时执行多个Spark任务，提高了Spark计算框架的任务处理效率和连续运行时的稳定性。本申请还公开了一种数据存储系统、一种电子设备及一种存储介质，具有以上有益效果。

技术领域

本申请涉及内存计算技术领域，特别涉及一种数据存储方法、系统、一 种电子设备及一种存储介质。

背景技术

持久内存(PMem，Persistent Memory)是新一代的存储介质，除了字节 可寻址、高速读写性能以外，还具有掉电非易失、高存储密度、低静态功耗 等DRAM(Dynamic RandomAccess Memory，动态随机存取存储器)不具备 的优点。以上优良特性让持久内存有望在未来成为DRAM的替代者，为构建 更高效的存储计算系统带来了新的机遇。

Spark是一种大数据内存计算框架，基于持久内存可以对Spark进行优化。 目前社区有通过使用持久内存的devdax模式，将Spark计算过程的中间数据 存储在持久内存上的，从而减少I/O(计算机的数据读写操作)时间、加速计 算任务执行的方案。这种方案中devdax模式的持久内存设备需要与Spark的 执行器一一对应，此时Spark无法同时执行多个任务，Spark计算框架的任务 执行效率较低，且在连续运行时稳定性较差。

因此，如何提高Spark计算框架的任务执行效率是本领域技术人员目前需 要解决的技术问题。

发明内容

本申请的目的是提供一种数据存储方法、系统、一种电子设备及一种存 储介质，能够提高持久内存设备中存储中间数据的数量。

为解决上述技术问题，本申请提供一种数据存储方法，应用于Spark计算 框架，所述数据存储方法包括：

确定持久内存设备的设备名称和预设文件大小；其中，所述持久内存设 备为处于fsdax模式的设备；

根据所述设备名称在所述持久内存设备中创建多个Spark任务对应的文 件路径，并在每一所述文件路径下生成所述预设文件大小的持久内存文件；

将每一所述Spark任务生成的中间数据存储至对应的所述持久内存文件。

可选的，根据所述设备名称在所述持久内存设备中创建多个Spark任务对 应的文件路径，包括：

随机生成多个中间文件名，并根据所述设备名称和所述中间文件名在所 述持久内存设备中创建多个所述Spark任务对应的所述文件路径。

可选的，还包括：

在检测到所述Spark计算框架执行新Spark任务时，随机生成新中间文件 名，并根据所述设备名称和所述新中间文件名在所述持久内存设备中创建所 述新Spark任务对应的新文件路径；

在所述新文件路径下生成新持久内存文件，并将所述新Spark任务生成的 新中间数据存储至所述新持久内存文件。

可选的，在将每一所述Spark任务生成的中间数据存储至对应的所述持久 内存文件之前，还包括：

确定所述持久内存设备对应的目标CPU核心；

获取所述Spark任务的当前进程号；

配置所述当前进程号和所述目标CPU核心的绑定关系；