[发明专利]一种实现实时增量同步数据的方法及装置

权利要求书

1.一种实现实时增量同步数据的方法，应用于关系型数据库到分布式系统架构Hadoop的数据导入，包括：

根据关系型数据库的表结构信息，在面向列的开源数据库HBase中生成与所述关系型数据库相对应的映射关系文件；

实时获取所述关系型数据库的操作日志；

根据获得的操作日志，获取所述关系型数据库的变更数据，根据建立的所述映射关系文件，将获得的变更数据更新至Hadoop的HBase中；

其中，所述获取所述关系型数据库的操作日志包括：

接收身份标识对应的关系型数据库的操作日志的变更数据，并将接收到的变更数据按顺序存储在一个消息队列中；或者，

当未接收到获取变更数据请求以及消息队列中的变更数据超过阈值时，则将所述消息队列中的变更数据按顺序存储到对应目录文件中。

2.根据权利要求1所述的方法，其特征在于，预先配置所述关系型数据库的身份标识和起始位点；所述实时获取关系型数据库的操作日志包括：

根据所述身份标识和起始位点，从起始位点开始获取所述身份标识对应的关系型数据库的操作日志。

3.根据权利要求1或2所述的方法，其特征在于，在所述实时获取关系型数据库的操作日志之后，所述方法还包括：

更新所述关系型数据库的起始位点；

根据更新后的起始位点，获取所述关系型数据库的下一个操作日志。

4.根据权利要求3所述的方法，其特征在于，所述方法还包括：将获得的所述变更数据保存在本地文件中，并记录下更新历史。

5.一种实现实时增量同步数据的装置，应用于关系型数据库到分布式系统架构Hadoop的数据导入，包括：建表模块、日志获取模块、多个日志解析客户端模块和数据更新模块，其中：

建表模块，用于根据关系型数据库的表结构信息，在分布式的、面向列的开源数据库HBase中生成与所述关系型数据库相对应的映射关系文件；

日志获取模块，用于实时获取所述关系型数据库的操作日志；

每个日志解析客户端模块，分别与所述日志获取模块相连，用于接收所述日志解析客户端模块发送的操作日志及变更数据，并将获得的变更数据发送给数据更新模块；

数据更新模块，用于实时的接收所述每个日志解析客户端模块发送的变更数据，并根据所述建表模块建立的所述映射关系文件，将获得的变更数据更新至Hadoop的HBase中；

所述日志获取模块还用于：

接收身份标识对应的关系型数据库的操作日志的数据，并将接收到的数据按顺序存储在一个消息队列中，供相对应的所述日志解析客户端模块请求获取；或者，

若所述日志解析客户端模块未请求获取所述数据，当消息队列中的数据超过阈值时，则将所述消息队列中的数据按顺序存储到对应目录文件中。

6.根据权利要求5所述的装置，其特征在于，所述日志获取模块具体用于：

预先配置所述关系型数据库唯一的身份标识和起始位点；

根据所述身份标识和起始位点，从起始位点开始获取所述身份标识相对应的关系型数据库的操作日志。

7.根据权利要求5或6所述的装置，其特征在于，所述日志获取模块还用于：

更新所述关系型数据库的起始位点；

根据更新后的起始位点，获取所述关系型数据库的下一个操作日志。

8.根据权利要求7所述的装置，其特征在于，所述日志解析客户端模块还用于：当所述数据更新模块未启动时，将接收到的所述变更数据存储在本地文件中。

9.根据权利要求7所述的装置，其特征在于，所述数据更新模块还用于：将获得的所述变更数据保存在本地文件中，并记录下更新历史。