[发明专利]一种基于内存计算模式的并行处理大数据存储系统及方法

摘要

本发明属于信息检索及其数据库结构技术领域，公开了一种基于内存计算模式的并行处理大数据存储系统及方法，本发明基于新型存储级内存和传统DRAM设计新型混合内存体系，在保持成本和能耗优势的前提下大幅提升内存容量，使计算不仅可以在DRAM内存上进行，也可以在SCM上进行，为大数据处理提供了一种基于混合内存架构的以数据为中心的处理模式，大幅度提升大数据处理的时效性。以新型非易失型存储设备为基础构建大容量混合内存体系以加速数据处理的模式，从而大幅度提升大数据处理的时效性，称为内存计算。从体系结构上来看，内存计算模式的出现为大数据处理提供强时效、高性能、高吞吐的体系结构支持带来了可能。

主权项

1.一种基于内存计算模式的并行处理大数据存储方法，其特征在于，所述基于内存计算模式的并行处理大数据存储方法将新型存储级内存SCM和DRAM横向混合在一块共同作为内存，SCM主要存储原始数据用于读操作，DRAM则用于存储频繁读写操作的数据；所述基于内存计算模式的并行处理大数据存储方法包括：将新型内存SCM和DRAM统一编址，从外存读入的原始数据存储在SCM中，将程序运行过程中频繁读写的中间数据和校验数据存入DRAM中，写入的中间数据达到一定数量时再写入到SCM中；所述基于内存计算模式的并行处理大数据存储方法的数据处理进一步包括：(1)若任意由“0,1”确定的二进制系统编码矩阵为Gr·m，Gr·m为由“0,1”构成的二进制矩阵，矩阵用于产生冗余数据，具体表示为：(2)根据二进制编码矩阵的行向量l1，l2，…，lr·m中“1”的个数确定出根据该向量计算校验位时所需要的XOR计算次数，并计算任意两向量la，lb之间不相同的位数；(3)若向量la中元素为“1”的位数为k，则系统利用该向量进行产生冗余数据需要进行k‑1次XOR运算。