[发明专利]基于列存储技术的数据库建立方法及系统

说明书

【技术领域】

本发明涉及一种基于列存储技术的数据库建立方法及系统。

【背景技术】

随着互联网技术的发展，IT技术的不断更新，社会信息化的不断深入，数据迎来了爆发式的增长，传统的关系型数据库已经不适用这种巨大存储和计算要求。新兴的大数据存储数据库有两种选择：基于“记录”的行存储和列存储。

对于行存储技术，基本操作数据是一条记录(多列构成)，其数据的结构性更强，对数据的更改操作（如：删除、修改）、数据的强一致性的实现更方便，但对大批量数据的存储、分析检索的便捷性较差，不适合用于建立数据库。

有鉴于此，本发明提供一种基于列存储技术的数据库建立方法及系统。

【发明内容】

为了解决上述问题，本发明的目的是提供一种基于列存储技术的数据库建立方法。

本发明的另一目的是提供一种基于列存储技术的数据库建立系统。

其中，本发明的基于列存储技术的数据库建立方法包括以下步骤：

建立表；

在所述表中建立描述数据结构的组成列信息的列文件；

存储所述组成列信息的列元数据至所述列文件，并对所述列文件分块，每块存储固定数量的列元数据；

对表中所有的字节数组列，生成一个数组，对该数组的每个数组元数据计算一个散列值并存储这个散列值至列文件。

作为本发明的进一步改进，所述表是对应关系数据库中的一个二维表，其以目录的形式存储，目录名为表名。

作为本发明的进一步改进，所述列文件分块后，每块有一个信息“索引区”，记录该块的位置、长度、热点词是否有出现及出现频率的信息；每个列文件中有块索引区的区域链表，记录各块索引区的位置，长度。

作为本发明的进一步改进，在所述“存储所述组成列信息的列元数据至所述列文件，并对所述列文件分块，每块存储固定数量的列元数据”步骤后，还包括：

增加一个记录删除标记列文件，对列文件中的每条记录生成一个记录删除标记标记列，对删除的列文件中的记录进行标记。

作为本发明的进一步改进，所述“对表中所有的字节数组列，生成一个数组，对该数组的每个数组元数据计算一个散列值并存储这个散列值至列文件”步骤还包括：

对于字节数组元数据，如果数量大于预设阈值，则单独存储该数组元文件(多有大于阈值的，放在一个单独的块中)。

相应地，本发明的基于列存储技术的数据库建立系统包括：

表建立单元，用于建立表；

列文件建立单元，用于在所述表中建立描述数据结构的组成列信息的列文件；

存储单元，用于存储所述组成列信息的列元数据至所述列文件，并对所述列文件分块，每块存储固定数量的列元数据；

数组单元，用于对表中所有的字节数组列，生成一个数组，对该数组的每个数组元数据计算一个散列值并存储这个散列值至列文件。

作为本发明的进一步改进，所述表是对应关系数据库中的一个二维表，其以目录的形式存储，目录名为表名。

作为本发明的进一步改进，所述存储单元还用于，所述列文件分块后，每块有一个信息“索引区”，记录该块的位置、长度、热点词是否有出现及出现频率的信息；每个列文件中有块索引区的区域链表，记录各块索引区的位置，长度。

作为本发明的进一步改进，所述系统还包括记录删除标记单元，用于增加一个列文件，对列文件中的每条记录生成一个标记列，对删除的列文件中的记录进行标记。

作为本发明的进一步改进，所述数组单元还用于对于字节数组元数据，如果数量大于预设阈值，则单独存储该数组元文件。

相比于现有技术，本发明基于列存储技术进行建库，极大的提高了数据库的存储、分析检索的便捷性。 

【附图说明】

图1是本发明一实施例的基于列存储技术的数据库建立方法的流程图；

图2是本发明一实施例的基于列存储技术的数据库建立系统的模块图。

【具体实施方式】

为了使本发明的目的、技术方案和优点更加清楚，下面结合附图和具体实施例对本发明进行详细描述。

如图1所示，在本发明一实施例中的基于列存储技术的数据库建立方法包括：

S1、建立表，所述表是对应关系数据库中的一个二维表，其以目录的形式存储，目录名为表名（系统中唯一）；

S2、在所述表中建立描述数据结构的组成列信息的列文件；这个列文件在表被创建的时候建立，它记录如下信息：