[发明专利]一种利用向量指令并行处理文件索引的方法及装置

摘要

本发明公开了一种并行处理文件索引数据的方法及装置。所述方法包括计算数据表中数据的索引键值并排序；分配所有叶子节点所需的存储空间；使用SIMD指令一次加载多个索引键值，将数据依次填充到所有叶子节点；分配上一层内部节点所需的存储空间；建立内部节点；继续构建上一层内部节点，直到上一层的节点数为1，此节点为根节点，索引树建立完成；在内存中建立缓存池，用一个查询队列暂时保存所收到的所有查询请求；当查询队列的长度达到预定阈值，将其从缓存池取出，并做排序，形成有序的待查询队列；从有序查询队列中依次取得待查询项，从所建立索引树的根节点开始，依次查找，在内部节点和叶子节点内利用SIMD方法并行查找待查询项。

主权项

一种并行处理文件索引数据的方法，包括批量建立文件索引和并行查询文件索引，其中：所述批量建立文件索引的方法，步骤如下：步骤101：计算数据表中数据的索引键值，对全部数据按其索引键值升序排序；步骤102：分配所有叶子节点所需的存储空间，所述叶子节点数量根据所述数据的大小确定；步骤103：从数值最小的索引键值开始，使用SIMD指令一次加载多个索引键值，将数据依次填充到所有叶子节点；步骤104：分配上一层内部节点所需的存储空间，所述内部节点的个数与下一层节点数和索引树的度数有关；步骤105：按步骤3的方法建立内部节点，每个节点的键值为其对应的下一层节点的最大值；步骤106：按照步骤4和步骤5的方法继续构建上一层内部节点，直到上一层的节点数为1，此节点为根节点，索引树建立完成；所述并行查询索引的方法，步骤如下：步骤201：在内存中建立缓存池，用一个查询队列暂时保存所收到的所有查询请求；步骤202：当查询队列的长度达到预定阈值，将其从缓存池取出，并做排序，形成有序的待查询队列；步骤203：从有序查询队列中依次取得待查询项，从所建立索引树的根节点开始，依次查找，在内部节点和叶子节点内利用SIMD方法并行查找待查询项。