[发明专利]基于非易失内存设备的数据去冗余系统

说明书

本发明涉及一种基于非易失内存设备的数据去冗余系统，包括基于NVRAM的新型内核文件系统模块，为一制定文件系统，位于内核的文件系统层次；用户空间文件系统模块，为一个位于用户空间中的特殊进程，可以向其他进程提供与NVRAM进行交互的中间层或者虚拟层；数据去冗余方法及其系统整合方式模块，提供具体的去冗余逻辑给所述的用户空间文件系统。NVRAM的新型内核文件系统模块用于改进传统文件系统对于NVRAM存储介质的性能次优性；用户空间文件系统用于以一种较低代价并友好的方式来接入去冗余功能；数据去冗余方法及其系统整合方式模块将具体的去冗余逻辑加入到了FUSE中，在CPU+NVRAM架构上产生了真正的数据去冗余效果。

技术领域

本发明涉及计算机技术领域，尤其涉及一种基于非易失内存设备的数据去冗余系统。

背景技术

数据去冗余的技术主要是指：在计算机的某一个存储层次，例如是在内存或者外存，通过消除具备相同数据的内存页面或者数据块，从而达到节省存储设备的空间及改善写操作性能下降现象的一种技术。

首先内存去冗余技术。在这里去冗余的对象数据存在于操作系统的内存子系统当中。考虑到当前常见的DRAM(Dynamic Random Access Memory，动态随机访问内存设备)内存设备是挥发的，因此，一般而言，处于内存中的数据是不可靠的，不具备持久性。并且，由于DRAM更加接近CPU，所以在此层次执行去冗余的操作，会较为容易地产生CPU性能敏感型的操作，这些操作容易对应用程序产生干扰。所以，在内存中想要实现去冗余的功能，一般采用离线(off-line)的方式进行。也即，当应用程序往内存中产生了新的内存页面数据后，由独立的系统模块或者例程对其进行检测，查看当前是否系统中存在一个已经包含了相同的内存页面，如果有，则保存相应的元数据信息，真实的数据不必写入一个新的内存页面，因为要写的数据在当前系统中已经存在；如果没有，则执行该内存写入操作。由于该独立模块或例程与应用程序无关，在多核环境下，通过将去冗余的逻辑与应用程序的逻辑分布在不同的CPU核心上，会具有较好的内存去冗余性能。

值得注意的是，在传统的存储体系结构下，由于DRAM保存的一般为进程运行时的动态数据，例如：堆栈、打开的文件表信息等信息，因此，一般位于内存去冗余的技术只针对该类数据进行去冗余，而对于内存中的文件系统的高速页面缓存I/O数据则不予考虑，这是因为在外存中会存在另一数据副本与其对应，其属于外存去冗余技术的范围。

内存去冗余代表技术最为出名的为KSM(Kernel Samepage Merging，Linux相同页面合并机制)。该技术目前运行于基于Linux内核(大于或者等于版本号2.6.32)的操作系统之中，主要去冗余逻辑和程序运行于内核级，并且在扫描潜在的冗余内存页面时，为了减小扫描的开销，需要借助于高级语义的帮助，例如：一个应用程序在分配内存时，发觉它即将写入的内存数据可能会在系统中产生冗余，然后执行系统调用madvise()，以此来通知内核的KSM模块，告知后者将此被新写入数据的内存页面作为去冗余的扫描的候选对象，以此来达到缩小工作集大小而减轻系统开销的目的。从上述过程可以看出两点：(1)该去除冗余的过程并不需要应用程序进行过多的参与(仅仅需要执行系统调用madvise以通知内核)，因此，该技术属于离线去冗余技术的范畴；(2)去冗余的对象仅仅针对应用进程分配的内存相关，与其将读写的文件或者IO数据没有直接联系。

宋莹等人于2014年提出了一种基于KSM改进的一种低开销的高效内存去冗余方法及系统，申请号为201410231580，从该申请文档中可以开出，该方法及系统主要特征和优点是降低了KSM的运行时开销，其所面对的去冗余对象以及去冗余所在的系统层次皆和KSM相同。