[发明专利]一种数据同步的方法和装置

说明书

本发明实施例提供了一种数据同步的方法和装置，所述方法包括：向从数据库发送数据同步请求；所述从数据库与主数据库连接，并同步所述主数据库中的数据；接收所述从数据库返回的数据；将所述数据发送至消息队列，以供数据使用方调用。在本发明实施例中，数据的处理方可通过多线程处理数据，大大提高了处理的实效，将处理延迟降到最低，达到准实时同步效果。

技术领域

本发明涉及数据处理技术领域，特别是涉及一种数据同步的方法和一种数据同步的装置。

背景技术

随着系统应用访问量逐渐增大，单台数据库读写访问压力也随之增大，当读写访问达到一定瓶颈时，将数据库的读写效率骤然下降，甚至不可用；为了解决此类问题，通常会采用mysql集群，当主数据库宕机后，集群会自动将一个从数据库升级为主数据库，继续对外提供服务。

因此，主数据库和从数据库就存在数据同步的过程了。业务数据应用中，经常需要实时感知数据变化，传统的做法是当数据更新后，通过业务模块，同步或异步的通知数据应用方，来更新数据。这种方式，需要业务开发功能来支持数据同步，且存在一定时延；当同步模块异常时，会丢失数据。

发明内容

鉴于上述问题，本发明实施例提出了一种数据同步的方法和相应的一种数据同步的装置。

为了解决上述问题，本发明实施例公开了一种数据同步的方法，包括：

向从数据库发送数据同步请求；所述从数据库与主数据库连接，并同步所述主数据库中的数据；

接收所述从数据库返回的数据；

将所述数据发送至消息队列，以供数据使用方调用。

优选的，所述向从数据库发送数据同步请求的步骤包括：

向所述从数据库发送mysql slave协议；

接收所述从数据库返回的反馈信息；

基于mysql dump协议生成所述数据同步请求，并将所述数据同步请求发送至所述从数据库。

优选的，所述从数据库返回的数据为binary log数据。

优选的，所述将所述数据发送至消息队列的步骤包括：

对所述binary log数据进行解析，得到解析后的数据；

将所述解析后的数据发送至消息队列；

或，

对所述binary log数据进行解析，得到解析后的数据；

对所述解析后的数据进行格式转换，得到转换后的数据；

将所述转换后的数据发送至消息队列。

优选的，所述将所述数据发送至消息队列的步骤还包括：

对所述数据进行加密，得到加密后的数据；

将所述加密后的数据发送至所述消息队列。

相应的，本发明实施例公开了一种数据同步的装置，包括：

第一发送模块，用于向从数据库发送数据同步请求；所述从数据库与主数据库连接，并同步所述主数据库中的数据；

接收模块，用于接收所述从数据库返回的数据；

第二发送模块，用于将所述数据发送至消息队列，以供数据使用方调用。

优选的，所述第一发送模块包括：

协议发送子模块，用于向所述从数据库发送mysql slave协议；