[发明专利]基于Bigtable存储系统的数据批量插入方法

摘要

本发明公开了一种基于Bigtable存储系统的数据批量插入方法，主要解决现有技术在处理批量插入时的数据分布不均和系统吞吐量低、读写操作时延大的问题，其实现步骤是1)在批量插入之前新增一组暂存服务器，用于暂存待插入的数据；2)分别对暂存服务器和子表服务器中的数据进行统计抽样，获取这两类服务器中数据的统计信息；3)根据得到的两类统计信息，对子表服务器中的子表进行预拆分和移动，使拆分后的子表均匀存储在多台子表服务器上；4)将待插入数据并行插入到分割后的多个子表中。本发明加快了Bigtable存储系统中数据批量插入的速度，可用于存储系统的存储和管理。

主权项

一种基于Bigtable存储系统的数据批量插入方法，包括如下步骤：(1)在数据批量插入Bigtable之前新增一组暂存服务器，将待插入的数据在批量插入之前先转移至暂存服务器；(2)采用带权抽样法分别对暂存服务器中的数据和Bigtable存储系统中子表服务器内部的数据进行统计抽样，获取这两类服务器中数据的统计信息；(3)Bigtable利用得到的这两类统计信息，对系统中子表服务器内部的子表进行预拆分；(4)将拆分后的子表在子表服务器之间进行移动，使得拆分后的子表均匀存储在多台子表服务器上；(5)将待插入数据并行插入到分割后的多个子表中。