[发明专利]一种实现实时增量同步数据的方法及装置

说明书

本发明公开了一种实现实时增量同步数据的方法及装置，其中该实时增量同步数据的方法包括：根据关系型数据库的表结构信息，在分布式的、面向列的开源数据库HBase中生成与所述关系型数据库相对应的映射关系文件；实时获取所述关系型数据库的操作日志；根据获得的操作日志，获取所述关系型数据库的变更数据，根据建立的所述映射关系文件，将获得的变更数据更新至Hadoop的HBase中。实现了数据由关系型数据库到Hadoop的实时增量更新同步，不仅有效减轻了Hadoop平台的负担，同时也增加了用户体验。

技术领域

本发明涉及大数据技术领域，尤指一种实现实时增量同步数据的方法及装置。

背景技术

互联网的快速发展，产生了体积激增的大量数据，海量数据的出现和数据结构的改变，给各行各业在管理和分析处理中带来了巨大的挑战。传统的基于关系型数据库数据的处理方法已经无法有效的存储和分析处理日益增长的各种业务数据。为此，许多行业开始采用分布式系统基础架构(Hadoop)来对数据进行分析处理。目前主流的将关系型数据库数据同步到Hadoop平台的方法主要通过Sqoop来实现数据的一次性全量导入。Sqoop是一种存在于关系型数据库和分布式文件系统(HDFS)间的高效传输数据工具，其可以将一个关系型数据库中的数据导入到Hadoop的HDFS中，也可以将HDFS的数据导进关系型数据库中。

当关系型数据库的数据发生变化时，若要实现将关系型数据库中的更新数据导入Hadoop中，则需要定时对关系型数据库中的数据进行全量导入。其中全量导入的含义为将关系型数据库中实时存在的全部数据导入Hadoop中。这样不仅加重了Hadoop分布式系统的负担，并且耗时严重。而目前还没有一种方法可以实现数据由关系型数据库到Hadoop的实时增量更新同步，即只同步关系型数据库中的变更数据至Hadoop中。

发明内容

为解决上述问题，本发明提供了一种实现实时增量同步数据的方法及装置，能够实现数据由关系型数据库到Hadoop的实时增量更新同步，同时有效减轻Hadoop平台的负担，增强用户体验。

为了达到上述发明目的，本发明公开了一种实现实时增量同步数据的方法，应用于关系型数据库到分布式系统架构的数据导入，包括：

根据关系型数据库的表结构信息，在面向列的开源数据库HBase中生成与上述关系型数据库相对应的映射关系文件；

实时获取上述关系型数据库的操作日志；

根据获得的操作日志，获取上述关系型数据库的变更数据，根据建立的上述映射关系文件，将获得的变更数据更新至Hadoop的HBase中。

进一步地，预先配置上述关系型数据库的身份标识和起始位点；上述实时获取关系型数据库的操作日志包括：

根据上述身份标识和起始位点，从起始位点开始获取上述身份标识对应的关系型数据库的操作日志。

进一步地，上述获取上述关系型数据库的操作日志包括：

接收上述身份标识对应的关系型数据库的操作日志的变更数据，并将接收到的变更数据按顺序存储在一个消息队列中；或者，

当未接收到获取变更数据请求以及消息队列中的变更数据超过阈值时，则将上述消息队列中的变更数据按顺序存储到对应目录文件中。

进一步地，在上述实时获取关系型数据库的操作日志之后，上述方法还包括：

更新上述关系型数据库的起始位点；

根据更新后的起始位点，获取上述关系型数据库的下一个操作日志。

进一步地，上述方法还包括：将获得的上述变更数据保存在本地文件中，并记录下更新历史。