[发明专利]一种基于“数据追加情况下的平均分段并行”的列式存储并行方法

权利要求书

1.一种基于“数据追加情况下的平均分段并行”的列式存储并行方法，步骤如下：

a.在列式存储业务系统中，在文件最前面创建q(指列数，每个列对应一个段索引区)个固定长度的段索引区，这样能保证后面的并行分段不会错位，每一条记录都是完整准确的，下面的操作这q个段索引区文件同时同步进行，保证记录的完整性；

b.在文件每个段索引区中创建成n个记段的起始位置以及段长度的字段组；

c.文件在追加数据的过程中，假设初期字段组是每隔m个字段长度记一个段的起始位置，当总字段数达到了m*n个时(n个字段组每个为m个字段长度)就把n个位置字段组的字段的信息两两同步(前奇数字段组和后偶数字段组)合并，这样前n/2个字段组每个有2m个字段的信息，后n/2个字段组为空白；

d.然后后追加数据用后面n/2个空白字段组记，每个字段组长度为2m个字段，等后n/2个空白字段组的信息全部填满后，再把n个位置字段组的字段的信息两两同步(前奇数字段组和后偶数字段组)合并成n/2个字段组，用这样的方式进行无限循环q个段索引区文件应对无限追加数据；

e.当要k线程并行处理业务文件时，把字段组按总数量(只算字段组里面有数据记的，空白的不算)平均分成k份，这样每个线程处理的工作量就大体相当了；

f.当要从这个文件中找到第f段的起始位置时，查索引表直接知道具体位置。

2.如权利要求1所述的一种基于“数据追加情况下的平均分段并行”的列式存储并行方法，其特征在于，创建的段索引区的最大长度必须固定，如果增加这个长度，就会要求已写过的数据往后推，物理层面上就意味着全部重写一遍，会导致数据维护的性能非常差。

3.如权利要求1所述的一种基于“数据追加情况下的平均分段并行”的列式存储并行方法，其特征在于，总字段组数足够大，就可以较平均的分配工作量。

4.如权利要求1所述的一种基于“数据追加情况下的平均分段并行”的列式存储并行方法，其特征在于，指定段号就能立即找到该段的起始位置。

5.如权利要求1所述的一种基于“数据追加情况下的平均分段并行”的列式存储并行方法，其特征在于，创建的段索引区放在文件的最前面。

6.如权利要求1所述的一种基于“数据追加情况下的平均分段并行”的列式存储并行方法，其特征在于，适用于所有的数据追加情况下的平均分段方法。

7.如权利要求1所述的一种基于“数据追加情况下的平均分段并行”的列式存储并行方法，其特征在于，每段数据量大体相当，让线程工作量相等。

8.如权利要求1所述的一种基于“数据追加情况下的平均分段并行”的列式存储并行方法，其特征在于，想找到第f段的起始位置，查索引表直接知道具体位置。

9.如权利要求1所述的一种基于“数据追加情况下的平均分段并行”的列式存储并行方法，其特征在于，段索引的作用是记录每一段的开始位置，每段的容量，起到目录的作用。

10.如权利要求1所述的一种基于“数据追加情况下的平均分段并行”的列式存储并行方法，其特征在于，所述方法适用于所有的系统、平台、软件、编程语言中。