[发明专利]HBase数据实时同步到QianBase MPP的方法

权利要求书

1.一种HBase数据实时同步到QianBase MPP的方法，其特征在于所述的方法包括如下步骤：

获取HBase数据库中的Snapshot元数据，再从HBase数据库的HDFS存储系统中获取真实的Snapshot数据，然后将所述Snapshot元数据与所述Snapshot数据转换为QianBase MPP数据库所支持的数据格式；

获取HBase数据库中WAL的变化，每当WAL产生变更，就读取WAL中的信息，然后将所述WAL的实时变更信息转换为QianBase MPP数据库所支持的数据格式；

获取QianBase MPP数据库的元数据，并结合所述Snapshot元数据与所述Snapshot数据，以及所述WAL的实时变更信息，生成与QianBase MPP数据库Segment的对应关系，且按照所述对应关系将转换得到的QianBase MPP数据文件发送至对应的Segment中。

2.根据权利要求1所述的HBase数据实时同步到QianBase MPP的方法，其特征在于：所述Snapshot元数据包括表schema信息、原始表所有Region的RegionInfo信息与Region下所有的HFile信息。

3.根据权利要求1所述的HBase数据实时同步到QianBase MPP的方法，其特征在于：所述对应关系为QianBase MPP数据库的元数据信息，Snapshot元数据、Snapshot数据与WAL的实时变更信息，以及转换得到的QianBase MPP数据所生成得到。

4.根据权利要求1所述的HBase数据实时同步到QianBase MPP的方法，其特征在于所述的方法还包括：将Snapshot数据源队列信息、WAL的实时变更信息以及同步工具的运行状态存储在Zookeeper中。

5.根据权利要求1或4所述的HBase数据实时同步到QianBase MPP的方法，其特征在于所述的方法还包括：将获取的HBase数据库中的Snapshot元数据，以及QianBase MPP数据库的元数据进行缓存。

6.根据权利要求1所述的HBase数据实时同步到QianBase MPP的方法，其特征在于：所述的方法由同步工具所执行，所述同步工具用于执行SnapshotSource的线程、WALSource的线程与数据转换线程。