[发明专利]一种数字化数据同步系统及同步方法

说明书

本申请公开了一种数字化数据同步系统及同步方法，该数字化数据同步系统，包括中央处理模块，中央处理模块信号连接有若干数据源，中央处理模块信号连接有数据源监控模块，数据源监控模块与数据源信号相连，数据源监控模块信号连接有可插拔消息通讯单元，可插拔消息通讯单元信号连接有自定义业务处理模块和数据存储模块，自定义业务处理模块与数据存储模块信号相连。本方案，实现系统剥离，可同时支持多数据源多系统数据分发同步；避免了多业务同步数据，需要重复处理相同业务逻辑；实现了业务分离，缓解了大批量、长时间持续同步数据过程中出现的系统负载过高，数据库I/O阻塞的问题，缓解了系统瞬时间压力峰值。

技术领域

本申请涉及数字化数据同步技术领域，具体而言，涉及一种数字化数据同步系统及同步方法。

背景技术

数字化数据同步目前大多都是跟相关系统和本身业务紧密结合，无法从业务系统中进行剥离，出现了使用相关技术更替难，更换代价较大。无相关业务系统背景人员无法参与更替相关工作等特点。现有的数据同步工具亦提供目标端数据库接管和增量回切等高级功能，序列化传输保证数据的一致性，持续数据保护，可从任意故障点恢复数据状态；同时在复杂的应用环境下完成数据库异构数据同步、数据分发等数据整合工作。

目前使用较多的是业务系统和数据同步机制混合同一套系统中，无法实现数据同步剥离。多系统情况下需要实现同样的数据同步工作。则需要使用相同的逻辑单元去重复处理该任务，统一功能无法实现复用。且现有的数据同步放无法实现多数据源，异构数据同步。无法实现夸平台跨系统业务场景下的数据同步。且大批量数据实现同步回导致系统的不稳定性出现，出现资源多度占用I/O阻塞等问题。

且在整个数据同步过程需要保证整体系统的稳定性，若出现个别服务短暂的宕机、重启等问题，在大批量数据同步过程中若出现数据同步中断，多余多数系统来说是没有续传等措施的。此时可能需要重新开始对数据做删除，重新同步等处理。且无法保证再次同步还会有同样的问题复现；不同数据源，不同系统之间无法实现统一的出库入库操作，入库时无法实现相同数据同时入多库的问题。

发明内容

本申请的主要目的在于提供一种数字化数据同步系统及同步方法，以改善相关技术中，大批量数据实现同步回导致系统的不稳定性出现，出现资源多度占用I/O阻塞等问题。

为了实现上述目的，第一方面，本申请提供了一种数字化数据同步系统，包括中央处理模块，所述中央处理模块信号连接有若干数据源，所述中央处理模块信号连接有数据源监控模块，所述数据源监控模块与所述数据源信号相连，所述数据源监控模块信号连接有可插拔消息通讯单元，所述可插拔消息通讯单元信号连接有自定义业务处理模块和数据存储模块，所述自定义业务处理模块与所述数据存储模块信号相连，其中：

所述中央处理模块用于对接收的数据进行处理；

所述数据源监控模块用于监听所述数据源中产生的数据动态消息，以及所述中央处理模块中相关业务系统中产生的数据动态消息；

所述可插拔消息通讯单元的内核机制采用消息中间件集成接入，根据现有系统已集成的MQ进行配置使用；在数据消息采集时，对延时的异步消息，进行重复；对异步消息数据包传输大小进行限制；规定数据传输格式，并对传输数据使用了GZIPOutputStream进行数据压缩，减少I/O开销；

所述自定义业务处理模块用于，当系统将数据动态消息传递到中央处理模块进行数据包拆解之后，用户根据自身业务系统进行数据加工处理；

所述数据存储模块用于对数据进行存储入库。

在本申请的一种实施例中，所述可插拔消息通讯单元包括判断模块、数据打包模块、规则配置模块和消息模块，所述判断模块与所述数据源监控模块信号相连，所述数据打包模块和所述规则配置模块分别与所述判断模块信号相连，所述数据打包模块与所述规则配置模块信号相连，所述数据打包模块与所述消息模块信号相连，其中：