[发明专利]一种基于NVM存储设备的快速大数据系统及其设计方法

说明书

本发明公开了一种基于NVM存储设备的快速大数据系统及其设计方法，针对现有大数据系统访问本地存储设备效率较低的问题，引入NVM存储设备替换传统存储设备，设计基于NVM存储设备的快速大数据系统来工作；包括快速大数据系统的结构设计和基于NVM存储设备的高速节点存储子系统构建方法。本发明使用基于NVM存储设备的高速节点存储子系统构建方法，在元数据节点服务器和数据节点服务器中高效存储元数据与数据，提高大数据系统中存储和访问海量数据的效率。本发明可应用于支撑各类大数据应用，提高其执行和访问数据的效率。

技术领域

本发明属于大数据系统领域，具体涉及大数据系统的数据存储与访问效率，设计了一种基于NVM存储设备的快速大数据系统。主要引入NVM存储设备替换传统存储设备，使用基于NVM存储设备构建高速节点存储子系统，设计基于NVM存储设备的快速大数据系统，在元数据节点服务器和数据节点服务器中高效存储元数据与数据，提高大数据系统中存储和访问海量数据的效率。

背景技术

大数据系统是当前研究与开发的热点，Hadoop其中的典型代表，具有处理海量数据的能力，但大数据系统中节点服务器本地存储设备一般使用Disk和基于Flash的SSD，性能较低；Hadoop中数据结点在频繁的与客户端交互过程中会形成大量的I/O操作，文件存取的时间远大于传输的时间，大部分时候造成集群效率下降的原因不是网络问题，而是物理设备的I/O效率问题，I/O效率已经成为大数据系统中不得不面对的瓶颈问题。所以对于提高大数据系统的效率，不但要优化内存资源的占用；也必须提高系统的I/O性能和减少读写操作的时间延迟，新型的高性能存储设备的出现如NVM给了我们一个很好的机会来提高大数据系统的I/O性能。

发明内容

本发明的目的在于提供一种基于NVM存储设备的快速大数据系统及其设计方法，以实现在元数据节点服务器和数据节点服务器中高效存储元数据与数据，提高大数据系统中存储和访问海量数据的效率。本发明针对现有大数据系统访问本地存储设备效率较低的问题，引入NVM存储设备替换传统存储设备，设计基于NVM存储设备的快速大数据系统来工作；包括快速大数据系统的结构设计和基于NVM存储设备的高速节点存储子系统构建方法，具体技术方案如下：

一种基于NVM存储设备的快速大数据系统设计方法，包括快速大数据系统的结构设计，其特征在于：还包括引入NVM存储设备，基于NVM存储设备对高速节点存储子系统进行构建，以在元数据节点服务器和数据节点服务器中高效存储元数据与数据，提高大数据系统中存储和访问海量数据的效率，具体包括以下步骤：

步骤一，使用NVM存储设备替换Disk和基于Flash的SSD；

步骤二，使用Ext4单机文件系统对NVM存储设备进行格式化；

步骤三，将格式化后的NVM存储设备挂入虚拟文件系统；

步骤四，由此构建了由NVM存储设备、单机文件系统和虚拟文件系统所构成的基于NVM存储设备高速节点存储子系统。

一种基于NVM存储设备的快速大数据系统，包括一个元数据节点服务器、多个数据节点服务器、大数据系统元数据节点端、大数据系统数据节点端、大数据系统节点虚拟文件系统和大数据系统节点单机文件系统，其特征在于：还包括大数据系统节点NVM存储设备；使用所述基于NVM存储设备的高速节点存储子系统构建方法构建而得；首先快速大数据系统中包含元数据节点服务器和数据节点服务器两类节点，并使用大数据系统元数据节点端和大数据系统数据节点端进行连接，在这两类节点服务器中均使用大数据系统节点虚拟文件系统、大数据系统节点单机文件系统和大数据系统节点NVM存储设备。

本发明具有有益效果。本发明在大数据系统的各节点服务器中，利用NVM存储设备构建高速节点存储子系统，有效提高大数据系统访问本地元数据和数据的效率，从而提高大数据系统访问海量数据时的速度。

附图说明

图1是本发明的结构图；