[发明专利]关系型数据库的数据同步方法及装置

说明书

本发明公开了一种关系型数据库的数据同步方法及装置。该方法包括：接收待处理数据，并将待处理数据存储至预设缓存空间中；当接收到数据同步请求时，从预设缓存空间中批量提取数据，其中，数据同步请求为按照预设时间周期发出的将数据同步至关系型数据库中的请求；从批量提取到的数据中确定待同步数据；以及将待同步数据同步至关系型数据库中。通过本发明，解决了相关技术中系统的批处理能力较低的问题。

技术领域

本发明涉及数据库技术领域，具体而言，涉及一种关系型数据库的数据同步方法及装置。

背景技术

随着大数据深度应用，批处理能力和高并发能力已成为系统性能中重要的指标之一。关系型数据在应用中扮演着不可或缺的角色，然而对于关系型数据库，在批处理和高并发方面与大数据分布式集群系统相比，显得相对滞后。对于非实时或者实时性要求不高的场景，通常直接连接数据库并进行数据存储操作，在高并发分布式作业系统中，这种处理则会遇到各种死锁以及连接超时。另一种则是通过消息队列的方式异步的进行数据的处理，在处理能力和并发量得到提高的同时，这需要系统具有很高的容错性能力。也即存在以下问题：批处理的性能问题、高并发能力、异步快速响应的能力和容错能力等等。为了解决以上问题，相关技术中提供了一种直接存储方案，各个子系统直接连接数据库进行数据的CRUD操作，该方案在应对高并发、批处理、异步以及容错性方面有一套很成熟的方案。例如：分库和分表，分布式锁、OPS(每秒操作数)和设计快速响应的API等手段达到高效的数据处理能力和并发能力。然而，直接存储方案也具有以下缺点：系统的批处理能力，受限于单次请求，当小批量的请求很多且很频繁时，会给数据库造成非常大压力。

针对相关技术中系统的批处理能力较低的问题，目前尚未提出有效的解决方案。

发明内容

本发明的主要目的在于提供一种关系型数据库的数据同步方法及装置，以解决相关技术中系统的批处理能力较低的问题。

为了实现上述目的，根据本发明的一个方面，提供了一种关系型数据库的数据同步方法。该方法包括：接收待处理数据，并将待处理数据存储至预设缓存空间中；当接收到数据同步请求时，从预设缓存空间中批量提取数据，其中，数据同步请求为按照预设时间周期发出的将数据同步至关系型数据库中的请求；从批量提取到的数据中确定待同步数据；以及将待同步数据同步至关系型数据库中。

进一步地，从预设缓存空间中批量提取数据包括：确定预设业务需求；根据预设业务需求确定数据的属性信息；根据数据的属性信息从预设缓存空间中批量提取数据。

进一步地，从批量提取到的数据中确定待同步数据包括：从关系型数据库中查找与数据的属性信息匹配的数据，得到原始数据；将批量提取到的数据与原始数据进行比较，确定批量提取到的数据中与原始数据不相同的数据；以及将批量提取到的数据中与原始数据不相同的数据确定为待同步数据。

进一步地，将待同步数据同步至关系型数据库中包括：将待同步数据同步插入至关系型数据库；以及删除关系型数据库中与批量提取到的数据不相同的数据。

进一步地，接收待处理数据包括：通过协议层预先定义的预设接口获取待处理数据；将待处理数据存储至预设缓存空间中包括：基于预设缓存空间集群同步待处理数据，其中，预设缓存空间集群为Redis集群。

为了实现上述目的，根据本发明的另一方面，提供了一种关系型数据库的数据同步装置。该装置包括：接收单元，用于接收待处理数据，并将待处理数据存储至预设缓存空间中；提取单元，用于当接收到数据同步请求时，从预设缓存空间中批量提取数据，其中，数据同步请求为按照预设时间周期发出的将数据同步至关系型数据库中的请求；确定单元，用于从批量提取到的数据中确定待同步数据；以及同步单元，用于将待同步数据同步至关系型数据库中。

进一步地，提取单元包括：第一确定模块，用于确定预设业务需求；第二确定模块，用于根据预设业务需求确定数据的属性信息；提取模块，用于根据数据的属性信息从预设缓存空间中批量提取数据。