[发明专利]一种海量数据加载和查询的方法

摘要

本发明属于计算机领域，具体涉及一种处理海量数据加载和查询的方法。本发明使用合适粒度的临时表缓存各个时间段的数据，在临时表上不建立索引或建立一个主键索引，处理完各自时间段的数据后，再将该时间段的数据统一建立索引后转移到分区表中。本发明采用对分区表的数据按照业务需求进行合并，提高查询速度；并且只与缓存时间段内的数据量有关系，可以满足高速海量数据加载环境以及有相关查询的业务需求。

主权项

1.一种海量数据的加载方法，其步骤如下：1)解析程序模块按照时间顺序生成目录，产生文件，生成数据源；2)用临时表缓存各个连续时间段的数据，得到各分区段的数据；3)将上述各分区段的数据统一建立索引；4)加载程序模块调用数据转移接口，将数据转移到分区表。