[发明专利]一种基于非易失内存的分布式计算方法、系统及存储介质

权利要求书

1.一种基于非易失内存的分布式计算方法，其特征在于，包括：

获取初始数据，对初始数据进行预处理；

将预处理后的数据分配至多个并行的映射节点进行处理，并将处理所得的中间结果存储于非易失存储器中；

从所述非易失存储器中领取中间结果，并将其输入归约节点中进行归约运算，以输出最终结果。

2.根据权利要求1所述的基于非易失内存的分布式计算方法，其特征在于，所述非易失存储器采用读写时间小于50ns，且耐擦写次数大于10¹⁰的存储器。

3.根据权利要求1所述的基于非易失内存的分布式计算方法，其特征在于，所述非易失存储器包括但不限于自旋转移扭矩磁性随机存储器、自旋轨道扭矩磁性随机存储器、磁性赛道存储器或铁电随机存储器。

4.根据权利要求1所述的基于非易失内存的分布式计算方法，其特征在于，对所述初始数据进行预处理包括：

将初始数据按照预设切分规则分割为多个数据分片，使得每个数据分片对应一个映射任务。

5.根据权利要求4所述的基于非易失内存的分布式计算方法，其特征在于，所述中间结果的获取和存储方法为：

每个所述映射节点分别利用映射函数对所述数据分片进行运算，将运算所得的结果写入所述映射节点的缓存区中；

再对所述映射节点的缓存区中的数据进行洗牌、溢写及文件归并操作后获得中间结果，并将其保存在该映射节点所对应的非易失存储器中。

6.根据权利要求5所述的基于非易失内存的分布式计算方法，其特征在于，从所述非易失存储器中领取中间结果后还包括：

将领取所得的中间结果存储在所述归约节点的缓冲区中，再对所述归约节点的缓存区中的数据进行洗牌、溢写及文件归并操作后进行归约函数运算以获得最终结果。

7.根据权利要求6所述的基于非易失内存的分布式计算方法，其特征在于，所述缓存区为节点本地内存或节点所对应的非易失存储器。

8.根据权利要求1所述的基于非易失内存的分布式计算方法，其特征在于，还包括：

判断是否接收重启指令，若接收到重启指令，则执行系统重启操作后可从所述非易失存储器中加载中间结果并存储于系统本地存储中。

9.一种基于非易失内存的分布式计算系统，其特征在于，包括：

预处理模块，用于对获取的初始数据进行预处理，其中预处理操作具体指数据分割，即将初始数据分割为多个数据分片；

映射运算模块，用于对预处理后的数据进行映射函数运算和处理；

非易失存储模块，用于存储所述映射运算模块输出的中间结果；

归约运算模块，用于从所述非易失存储模块中领取中间结果，并将其作为归约函数的输入以完成归约运算并输出最终结果。

10.一种存储介质，其存储有程序，其特征在于，所述程序被处理器执行时实现如权利要求1-8任一项所述的基于非易失内存的分布式计算方法。