[发明专利]一种基于“数据追加情况下的平均分段并行”的列式存储并行方法

摘要

本发明提供了一种基于“数据追加情况下的平均分段并行”的列式存储并行方法。在文件最前面创建q个固定长度的段索引区；在文件每个段索引区中创建成n个记段的起始位置以及段长度的字段组；假设初期字段组是每隔m个字段长度记一个段的起始位置，当总字段数达到了m*n个时就把n个位置字段组的字段的信息两两同步合并，这样前n/2个字段组每个有2m个字段的信息，后n/2个字段组为空白；然后后追加数据用后面n/2个空白字段组记，每个字段组长度为2m个字段，等后n/2个空白字段组的信息全部填满后，再把n个位置字段组的字段的信息两两同步合并成n/2个字段组，用这样的方式进行无限循环q个段索引区文件应对无限追加数据。

主权项

一种基于“数据追加情况下的平均分段并行”的列式存储并行方法，步骤如下：a.在列式存储业务系统中，在文件最前面创建q(指列数，每个列对应一个段索引区)个固定长度的段索引区，这样能保证后面的并行分段不会错位，每一条记录都是完整准确的，下面的操作这q个段索引区文件同时同步进行，保证记录的完整性；b.在文件每个段索引区中创建成n个记段的起始位置以及段长度的字段组；c.文件在追加数据的过程中，假设初期字段组是每隔m个字段长度记一个段的起始位置，当总字段数达到了m*n个时(n个字段组每个为m个字段长度)就把n个位置字段组的字段的信息两两同步(前奇数字段组和后偶数字段组)合并，这样前n/2个字段组每个有2m个字段的信息，后n/2个字段组为空白；d.然后后追加数据用后面n/2个空白字段组记，每个字段组长度为2m个字段，等后n/2个空白字段组的信息全部填满后，再把n个位置字段组的字段的信息两两同步(前奇数字段组和后偶数字段组)合并成n/2个字段组，用这样的方式进行无限循环q个段索引区文件应对无限追加数据；e.当要k线程并行处理业务文件时，把字段组按总数量(只算字段组里面有数据记的，空白的不算)平均分成k份，这样每个线程处理的工作量就大体相当了；f.当要从这个文件中找到第f段的起始位置时，查索引表直接知道具体位置。