[发明专利]HBase数据实时同步到QianBase MPP的方法

摘要

本发明公开了一种HBase数据实时同步到QianBase MPP的方法，属数据库实时同步领域，获取HBase数据库中的Snapshot元数据与真实的Snapshot数据，以及HBase数据库中WAL的变化数据，然后将其转换为QianBase MPP数据库所支持的数据格式。按照对应关系将转换得到的QianBase MPP数据文件发送至对应的Segment中。通过使用HBase快照与WAL预写日志相结合的方式将数据从HBase数据库实时同步至QianBase MPP数据库中，同步过程中不会受到HBase Compaction以及热点问题的影响，也避免了数据写入必须经过QianBase MPP Master带来的性能损耗，使得数据库同步的服务器在在易用性和性能上均有了明显的提升。