[发明专利]一种基于内存计算模式的并行处理大数据存储系统及方法

权利要求书

1.一种基于内存计算模式的并行处理大数据存储方法，其特征在于，所述基于内存计算模式的并行处理大数据存储方法将新型存储级内存SCM和DRAM横向混合在一块共同作为内存，SCM主要存储原始数据用于读操作，DRAM则用于存储频繁读写操作的数据；

所述基于内存计算模式的并行处理大数据存储方法包括：将新型内存SCM和DRAM统一编址，从外存读入的原始数据存储在SCM中，将程序运行过程中频繁读写的中间数据和校验数据存入DRAM中，写入的中间数据达到一定数量时再写入到SCM中；

所述基于内存计算模式的并行处理大数据存储方法的数据处理进一步包括：

(1)若任意由“0,1”确定的二进制系统编码矩阵为G_r·m，G_r·m为由“0,1”构成的二进制矩阵，矩阵用于产生冗余数据，具体表示为：

(2)根据二进制编码矩阵的行向量l₁，l₂，…，l_r·m中“1”的个数确定出根据该向量计算校验位时所需要的XOR计算次数，并计算任意两向量l_a，l_b之间不相同的位数；

(3)若向量l_a中元素为“1”的位数为k，则系统利用该向量进行产生冗余数据需要进行k-1次XOR运算。

2.如权利要求1所述的基于内存计算模式的并行处理大数据存储方法，其特征在于，所述基于内存计算模式的并行处理大数据存储方法针对整个编码矩阵G_r·m对原始文件进行编码计算的优化方法包括：

(1)根据编码矩阵中G_r·m的每一行向量中“1”的个数，确定出根据该行向量计算校验位所需要的XOR次数，行向量中“1”的个数用k来标记，则利用该行向量计算校验位所需要的XOR次数为(k-1)m，其中m为每个参与校验计算的原始数据块的大小；

(2)比较编码矩阵中任意两个行向量之间的元素相同位与元素不同位的个数，记为(e/d)，其中e表示两个向量中元素相同的位个数；d表示两个向量中元素不同的位个数；

(3)若某一行向量l_i(1≤i≤r·m)所需要的XOR次数小于或等于步骤B中不同位数d，则直接根据该向量计算出该行所对应的校验数据块，并将该向量记为l_j；

(4)利用(3)确定的向量l_j，根据步骤B中相同位数与不同位数之比，确定下一个计算行向量，当某行向量l_k与向量l_j不同位数小于相同位数，且l_k与向量l_j不同位数与其余各个向量不同位数达到最小时，则根据向量l_j已计算出的校验数据来计算由l_k确定的校验数据；

(5)若仍有未计算校验位，则按照(4)计算规则，以l_k为基础向量，寻找下一待计算向量，并返回(4)；

(6)是否已确定全部校验位计算过程，若是，则保存校验位依次计算过程，若否，则按照原始对应关系进行计算。