[发明专利]一种基于固态硬盘的数据库并行排序连接系统

说明书

一种基于固态硬盘的数据库并行排序连接系统，内存作为并行读固态硬盘管理模块的数据页缓冲区、并行排序模块排序缓冲区、并行写固态硬盘管理模块的归并缓冲区和并行连接模块的连接缓冲区；固态硬盘中存储有待排序数据和数据字典；系统判别模块根据数据字典中对待排序数据的统计信息判断内存数据页缓冲区大小与待排序数据量之间的关系，决定系统采用哪种排序方法；并行读固态硬盘管理模块并行读取固态硬盘并把数据存入内存数据页缓冲区；并行排序模块对内存排序缓冲区中的数据进行排序；并行写固态硬盘管理模块把排好序的数据从归并缓冲区写入固态硬盘；并行连接模块对内存连接缓冲区中的数据进行连接。本发明能够充分发挥固态硬盘内部并行特性。

技术领域

本发明涉及计算机技术领域，一种基于固态硬盘的并行排序连接系统，特别是关于数据库并行排序系统。

背景技术

随着云计算及大数据的迅猛发展，固态硬盘以其低延迟、低功耗、高读写速度等优点，使得固态硬盘已逐步成为服务器应用领域的主流，因此如何高效的管理固态硬盘数据成为了一个新的研究领域。

现有的数据库排序方法有以下几种：(1)表扫描读取排序方法，适用于排序属性上没有索引的情况。传统的表扫描排序方法充分利用了磁盘的顺序读写特性优于随机读写特性而设计，即顺序读取，排序好之后顺序写出，但是数据量的多少和缓冲区的大小决定了采用几路归并排序方法。如果数据量较小而缓冲区足够大到放下所有数据进行排序，可以通过一次排序形成结果，即一路归并排序。如果数据量较大而缓冲区大小不足以存放所有数据，此时就需要把数据分成N块分别进行排序，然后对所有排好序的块进行归并排序，即N路归并排序；(2)基于索引的排序方法，利用数据库中排序属性上已经存在的索引，按照某种顺序读取数据，然后写出到外存即可，但是该方法会导致很多对外存的随机读操作。

传统磁盘数据库系统排序方法充分考虑磁盘读写对称特性，但很少考虑闪存存储器和固态硬盘的读写不对称特性，特别是甚少考虑固态硬盘的内部并行特性。如果将传统磁盘数据库系统排序方法直接运行在固态硬盘上，查询处理和事务处理性能提高倍数远不及硬件本身读写性能提高的倍数。由此可见，现有的面向传统磁盘的数据库系统并不能充分发挥固态硬盘相较于磁盘的高速读写带宽，固态硬盘的优异读写性能大打折扣。

固态硬盘与磁盘的最大不同点是固态硬盘的内部并行特性。基于闪存存储芯片的固态硬盘不具有机械组件，主要由接口逻辑、内置缓冲区、控制器和闪存存储器组成，是由闪存芯片经过一定的并行排列组成的类似磁盘的块设备，因此固态硬盘不但具有闪存存储芯片的特性，还具有一些其他特性，如内部并行特性。现有工作无法发挥固态硬盘的内部并行特性。

发明内容

针对上述问题，本发明的目的是提供一种能够充分发挥固态硬盘内部并行特性的基于固态硬盘的数据库并行排序连接系统。

为实现上述目的，本发明采取以下技术方案：

一种基于固态硬盘的数据库并行排序连接系统，包括内存、固态硬盘、系统判别模块、并行读固态硬盘管理模块、并行排序模块、并行写固态硬盘管理模块和并行连接模块，所述内存作为并行读固态硬盘管理模块的数据页缓冲区、同时作为并行排序模块排序缓冲区、并行写固态硬盘管理模块的归并缓冲区和并行连接模块的连接缓冲区；所述固态硬盘中存储有待排序数据和数据字典；所述系统判别模块根据数据字典中对待排序数据的统计信息判断内存数据页缓冲区大小与待排序数据量之间的关系，决定系统采用哪种具体排序方法；所述并行读固态硬盘管理模块并行读取固态硬盘并把数据存入内存数据页缓冲区；所述并行排序模块对内存排序缓冲区中的数据进行排序；所述并行写固态硬盘管理模块把排好序的数据从归并缓冲区写入固态硬盘；所述并行连接模块对内存连接缓冲区中的数据进行连接。

进一步，设内存大小为M，固态硬盘并行域数量为N，所述系统判别模块的系统判别步骤如下：

1.1)、从固态硬盘读取待排序数据集的统计描述信息；

1.2)、通过待排序数据量和内存数据页缓冲区大小确定采用哪种具体的排序算法。