[发明专利]一种电网时序大数据并行加载方法

权利要求书

1.一种电网时序大数据并行加载方法，其特征在于，包括如下步骤：

1）分区处理：

对索引映射表文件进行分区处理，将索引映射表文件根据集群及测点规模的情况分为多个分区，利用HBase的分区管理功能，将这多个分区随机均衡的分配给若干个数据节点；

对历史数据存储表进行分区预处理，根据集群数据节点个数、待加载的数据量大小及集群分区配置文件的大小，将历史数据存储表预分为多个分区，利用HBase的分区管理功能，将这多个分区随机均衡分配给集群数据节点；

2）保持数据局部性及并行加载：

将所有的测点名写入到索引映射表文件中；

读取各数据节点所管理的历史数据存储表的分区及每个分区所对应的索引映射表的范围，对待加载的数据进行切分处理；

把属于同一个数据节点的历史数据的切分合并后分发到其所对应的数据节点；

在每个数据节点上启动一个客户端并行加载这些历史时序数据。