[发明专利]一种海量维度数据关联查询优化方法及系统

摘要

本发明提供了一种海量维度数据关联查询优化方法及系统，包括数据写入步骤：将维度表数据写入到不同的分片表中；任务对应步骤：启动多个任务，每个任务对应一个或者多个分片表；数据查询步骤：多个任务分别查询对应的分片表的数据；数据合并步骤：将多个任务查询到的数据结果进行合并；数据输出步骤：输出合并的数据。本发明优化了海量维度数据关联查询的性能。通过预过滤维度表字段，加速基于维度表字段的过滤的关联。分任务处理关联查询，每个任务只处理自己所需部分的数据。预过滤分片减少后续步骤处理的数据量。事实表支持多个维度表的关联，事实表可在保证全表扫描的性能的情况下，进行快速的维度关联。能很好的处理以星形模型组织的数据。