[发明专利]一种电网时序大数据并行加载方法

摘要

本发明公开了一种电网时序大数据并行加载方法，以解决多客户端并行加载海量历史时序数据时遇到的不能并行加载而产生等待现象的问题。本发明通过对索引映射表做分区处理、根据待加载的数据量的大小对历史时序数据存储表做分区预处理、根据各数据节点上所分配的历史时序数据存储表分区的范围，对待加载的海量历史时序数据做保持数据局部性的处理，经过上述处理后能够有效减少并行加载海量历史时序数据时多客户端读写索引映射表文件遇到的磁盘IO冲突和集群不同节点之间网络通信开销，避免单节点加载海量历史时序数据时负载过重带来的性能问题。本方法能充分利用分布式并行处理能力，大大减少海量历史时序数据加载的时间。

主权项

一种电网时序大数据并行加载方法，其特征在于，包括如下步骤：1）分区处理：对索引映射表文件进行分区处理，将索引映射表文件根据集群及测点规模的情况分为多个分区，利用HBase的分区管理功能，将这多个分区随机均衡的分配给若干个数据节点；对历史数据存储表进行分区预处理，根据集群数据节点个数、待加载的数据量大小及集群分区配置文件的大小，将历史数据存储表预分为多个分区，利用HBase的分区管理功能，将这多个分区随机均衡分配给集群数据节点；2）保持数据局部性及并行加载：将所有的测点名写入到索引映射表文件中；读取各数据节点所管理的历史数据存储表的分区及每个分区所对应的索引映射表的范围，对待加载的数据进行切分处理；把属于同一个数据节点的历史数据的切分合并后分发到其所对应的数据节点；在每个数据节点上启动一个客户端并行加载这些历史时序数据。