[发明专利]一种数据存储方法及装置

权利要求书

1.一种数据存储方法，其特征在于，所述方法包括：

获得待存储至数据库的各条数据，其中，每条数据中包含数据库的预设列名对应的数值；

从所述各条数据中确定至少一个数据列，生成至少一个数据列文件，其中，每个数据列文件中存储所述至少一数据列中的一个数据列；

生成各个数据列文件的位图索引文件；

存储各个数据列文件、各个位图索引文件、目标对应关系，其中，所述目标对应关系为：每一数据列文件与该数据列文件的位图索引文件、该数据列文件存储的数据列对应的预设列名三者之间的对应关系；

按照以下方式生成每一数据列文件的位图索引文件：

确定目标数据列文件的位图索引的至少两个键值，其中，将所述至少两个键值从小到大进行排列时，形成等差数列，所述等差数列中的每两个相邻的键值形成一个位图段，所述目标数据列文件为：各个数据列文件中的一个；

根据所述至少两个键值确定的位图段，获得所述目标数据列文件存储的数据列包含的数值的位图索引值，并根据所获得的位图索引值生成所述目标数据列文件的目标位图索引；

对所述目标位图索引进行压缩处理，获得所述目标位图索引的位向量；

根据所获得的位向量生成所述目标数据列文件的位图索引文件；

所述目标位图索引是由所述目标数据列文件存储的数据列包含的数值的位图索引值依次连接构成的；一个数值的位图索引值，用于表示该数值所在的位图段。

2.根据权利要求1所述的方法，其特征在于，所述对所述目标位图索引进行压缩处理，获得所述目标位图索引的位向量的步骤，包括：

确定所述目标位图索引中取值连续相同的比特位的最大数量；

根据所述最大数量确定对所述目标位图索引进行压缩处理后一个分段的目标段长；

设置初始位置为所述目标位图索引的第一个比特位；

从所述初始位置开始确定所述目标位图索引中取值连续相同的比特位的目标数量；

判断所述目标数量是否小于第一数值，其中，所述第一数值等于所述目标段长减1；

若为是，生成包含源码标识、源码比特位的源码段，作为所述目标位图索引的一个位向量，其中，所述源码比特位为：所述目标位图索引中从所述初始位置开始所述目标数量个比特位；

否则，根据所述目标段长更新所述目标数量，对所述目标位图索引中从所述初始位置开始所述目标数量个比特位进行压缩处理，获得压缩后比特位，并生成包含压缩标识、被压缩位取值标识、压缩后比特位的编码段，作为所述目标位图索引的一个位向量，其中，所述被压缩位取值标识为：用于表示进行压缩处理的比特位取值的标识；

将所述初始位置向后移动所述目标数量个比特位，在所述目标位图索引中还存在未经压缩处理的比特位时，返回所述从所述初始位置开始确定所述目标位图索引中取值连续相同的比特位的目标数量的步骤。

3.根据权利要求2所述的方法，其特征在于，所述根据所述最大数量确定对所述目标位图索引进行压缩处理后一个分段的目标段长的步骤，包括：

按照以下公式确定对所述目标位图索引进行压缩处理后一个分段的目标段长：

2^(Slen-2)-1＝floor(Num_max/(Slen-1))

其中，Num_max表示所述最大数量，Slen表示所述目标段长，floor()表示取小于或等于操作数的最大整数；

所述根据所述目标段长更新所述目标数量的步骤，包括：

按照以下表达式更新所述目标数量：

Num’＝min{floor(Num/(Slen-1))*(Slen-1)，((2^(Slen-2)-1)*(Slen-1))}

其中，Num表示更新前的目标数量，Num’表示更新后的目标数量，min{,}表示取两个操作数中的最小值；

所述对所述目标位图索引中从所述初始位置开始所述目标数量个比特位进行压缩处理，获得压缩后比特位的步骤，包括：

按照以下表达式确定中间数值Cbit：

Cbit＝Num’/(Slen-1)；

将所述Cbit转换为二进制比特位，将所述二进制比特位作为所述压缩后比特位。