[发明专利]基于PMM的分布式MPP数据库快速持久化方法及系统

说明书

本发明提供一种基于PMM的分布式MPP数据库快速持久化方法及系统，包括如下步骤：S1.更改分布式MPP数据库的持久化接口，在分布式MPP数据库设置PMM持久化接口；S2.更改存储节点的数据缓存方式，设置按照数据读取频率对数据进行缓存；S3.当用户存储数据时，通过PMM持久化接口将数据存储到PMM，同时，将读取频率高的数据缓存到内存；S4.当用户读取数据时，首先从内存的缓存数据搜索目标数据，若搜索不到则从PMM中搜索目标数据。本发明使用PMM作为MPP数据库的存储介质，数据直接写到PMM存储，提升了数据持久化效率，而且通过提高与内存缓存更新速率，提高MPP数据库查询速率。

技术领域

本发明属于数据存储技术领域，具体涉及一种基于PMM的分布式MPP数据库快速持久化方法及系统。

背景技术

PMM，是Persistent Memory Module的缩写，持久性(非易失性)内存。

MPP，是Massively Parallel Processing的缩写，大规模并行处理。

MPP大规模并行处理技术，在数据库非共享集群中，每个节点都有独立的磁盘存储系统和内存系统，业务数据根据数据库模型和应用特点划分到各个节点上，每台数据节点通过专用网络或者商业通用网络互相连接，彼此协同计算，作为整体提供数据库服务。非共享数据库集群有完全的可伸缩性、高可用、高性能、优秀的性价比、资源共享等优势。简单来说，MPP是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果(与分布式文件系统相似)。

当前MPP数据库数据的持久化使用常规硬盘(SCSI，STAT，SAS等)作为存储介质，受限于常规硬盘的读写速率，MPP数据库为提高数据处理效率，通常增大内存、缓存来提高数据持久化速度。但由于常规硬盘的数据读写速度、延时性能与内存差距太大，影响了数据持久化效率。

此为现有技术的不足，因此，针对现有技术中的上述缺陷，提供一种基于PMM的分布式MPP数据库快速持久化方法，是非常有必要的。

发明内容

针对现有技术的上述现有MPP数据库使用常规硬盘，常规硬盘的数据读写速度、延时性能与内存差距太大，影响了数据持久化效率的缺陷，本发明提供一种基于PMM的分布式MPP数据库快速持久化方法，以解决上述技术问题。

第一方面，本发明提供一种基于PMM的分布式MPP数据库快速持久化方法，包括如下步骤：

S1.更改分布式MPP数据库的持久化接口，在分布式MPP数据库设置PMM持久化接口；

S2.更改存储节点的数据缓存方式，设置按照数据读取频率对数据进行缓存；

S3.当用户存储数据时，通过PMM持久化接口将数据存储到PMM，同时，将读取频率高的数据缓存到内存；

S4.当用户读取数据时，首先从内存的缓存数据搜索目标数据，若搜索不到则从PMM中搜索目标数据。

进一步地，步骤S1具体步骤如下：

S11.获取MPP主节点与存储节点对应的数据表；

S12.获取数据表中对每个存储节点的持久化接口；

S13.将原有的磁盘持久化接口更改为PMM持久化接口。通过更改数据表的方式更改原有的持久化接口。

进一步地，步骤S3具体步骤如下：

S31.用户存储数据时，MPP主节点从数据表中选择一个存储节点，并查找该存储节点的PMM持久化接口；

S32.MPP主节点通过选择的PMM持久化接口将数据存储到对应存储节点的PMM，同时在MPP主节点建立数据索引；