[发明专利]一种数据实时同步方法及系统

说明书

本发明公开了一种数据实时同步方法，其包括以下步骤：S10：实时获取原始数据所在数据库的增量日志；S20：对所述增量日志进行数据接入处理；S30：对所述数据接入处理得到的数据进行数据提取处理；S40：对所述数据提取处理得到的数据进行数据转换处理；S50：对所述数据转换处理得到的数据进行数据载入处理，从而将所述原始数据实时同步至数据平台、分布式数据库以及分布式文件系统中的一种或多种。此外，还公开了相应的系统。本发明能将原始数据实时同步至其它数据存储系统，使得原本需要访问原始数据的操作可以在其它数据存储系统上完成，从而解决原始数据访问的瓶颈问题，满足实时分析的需求。

技术领域

本发明涉及一种数据同步方法及系统，尤其涉及一种数据实时同步方法及系统。

背景技术

现有的业务系统数据一般存储在关系型数据库中，比如mysql、oracle等。关系数据库是建立在关系模型基础上的数据库，借助于集合代数等数学概念和方法来处理数据库中的数据。关系模型就是指二维表格模型，因而一个关系型数据库就是由二维表及其之间的联系组成的一个数据组织。关系模型由关系数据结构、关系操作集合、关系完整性约束三部分组成。标准数据查询语言SQL就是一种基于关系数据库的语言，这种语言执行对关系数据库中数据的检索和操作。

随着互联网的飞速发展，人类社会的数据量迅速激增，据统计目前人类一年产生的数据就相当于人类进入现代化以前所有历史的总和，而且互联网业务的发展通常具有爆发性，业务量很可能在短短的一个月内突然爆发式地增长几千倍，对应的数据也很可能快速地从原来的几百GB飞速上涨到了几百个TB。以电商网站为例，在网站创建之初，日均访问量可能只有几百到几千人，这时整个业务后台可能就一个数据库，所有业务表都放在这个数据库中，一台普通的服务器就可以支撑，而且这种架构对业务开发人员也非常友好，因为所有的表都在一个库中，这样查询语句就可以灵活关联了，使用起来很便捷。但是随着业务的不断发展，每天访问网站的人越来越多，数据库的压力也越来越大，数据库的瓶颈越来越突出。当业务数据量达到一定的数量时，而业务又需要去检索、分析这些在关系型数据库中的数据，会发现计算效率非常低下。业界通常采用离线迁移方法，但是这样数据会有很大的延迟，不满足需要实时分析的需求，因此，需要一种能够实时地同步数据的方法和系统，把数据实时同步到不同的平台使用。

发明内容

针对目前存在的问题，本发明提供了一种数据实时同步方法及系统，其能将原始数据实时同步至其它数据存储系统，使得原本需要访问原始数据的操作可以在其它数据存储系统上完成，从而解决原始数据访问的瓶颈问题，满足实时分析的需求。

本发明第一个方面提供了一种数据实时同步方法，其包括以下步骤：

S10：实时获取原始数据所在数据库的增量日志；

S20：对所述增量日志进行数据接入处理；

S30：对所述数据接入处理得到的数据进行数据提取处理；

S40：对所述数据提取处理得到的数据进行数据转换处理；

S50：对所述数据转换处理得到的数据进行数据载入处理，从而将所述原始数据实时同步至数据平台、分布式数据库以及分布式文件系统中的一种或多种。

本发明所述的数据实时同步方法，其通过实时获取原始数据的增量日志，并依次进行数据接入、数据提取、数据转换以及数据载入处理，将所述原始数据实时同步至其它数据存储系统，包括数据平台、分布式数据库以及分布式文件系统(DFS)中的一种或多种，从而将原始数据实时同步至上述其它数据存储系统，使得原本需要访问原始数据的操作可以在其它数据存储系统上完成，从而解决原始数据访问的瓶颈问题。