[发明专利]一种数字化数据同步系统及同步方法

权利要求书

1.一种数字化数据同步系统，包括中央处理模块，其特征在于，所述中央处理模块信号连接有若干数据源，所述中央处理模块信号连接有数据源监控模块，所述数据源监控模块与所述数据源信号相连，所述数据源监控模块信号连接有可插拔消息通讯单元，所述可插拔消息通讯单元信号连接有自定义业务处理模块和数据存储模块，所述自定义业务处理模块与所述数据存储模块信号相连，其中：

所述中央处理模块用于对接收的数据进行处理；

所述数据源监控模块用于监听所述数据源中产生的数据动态消息，以及所述中央处理模块中相关业务系统中产生的数据动态消息；

所述可插拔消息通讯单元的内核机制采用消息中间件集成接入，根据现有系统已集成的MQ进行配置使用；在数据消息采集时，对延时的异步消息，进行重复；对异步消息数据包传输大小进行限制；规定数据传输格式，并对传输数据使用了GZIPOutputStream进行数据压缩，减少I/O开销；

所述自定义业务处理模块用于，当系统将数据动态消息传递到中央处理模块进行数据包拆解之后，用户根据自身业务系统进行数据加工处理；

所述数据存储模块用于对数据进行存储入库。

2.如权利要求1所述的一种数字化数据同步系统，其特征在于，所述可插拔消息通讯单元包括判断模块、数据打包模块、规则配置模块和消息模块，所述判断模块与所述数据源监控模块信号相连，所述数据打包模块和所述规则配置模块分别与所述判断模块信号相连，所述数据打包模块与所述规则配置模块信号相连，所述数据打包模块与所述消息模块信号相连，其中：

所述判断模块用于对接收的数据动态消息进行判断，判断数据动态消息是否同步；

所述规则配置模块用于对异步的数据动态消息进行规则配置，形成规则配置后的数据动态消息；

所述数据打包模块用于对需要同步的数据动态消息，以及规则配置后的数据动态消息进行打包，并将打包后的数据传输给所述消息模块；

所述消息模块用于与所述自定义业务处理模块和所述数据存储模块进行通信，并传输打包后的数据。

3.如权利要求2所述的一种数字化数据同步系统，其特征在于，所述规则配置模块具体配置的规则为，对延时的异步消息进行重复，根据延时等级1至5级做积累存储组合；对异步的数据动态消息数据包传输大小进行限制，每个数据包最大控制在100MB；当某一消息属于实时消息则直接发送，无需做异步相关操作处理，当异步的数据动态消息发送到达等待时间段时，无需再进行数据包累计，直接进行发送。

4.如权利要求1所述的一种数字化数据同步系统，其特征在于，所述中间件包括但不限于Kafka、ActiveMQ、RabbitMQ和RocketMQ。

5.如权利要求1所述的一种数字化数据同步系统，其特征在于，所述数据存储模块设置为可扩展数据存储模块。

6.一种数字化数据同步方法，其特征在于，具体包括以下步骤：

S1、使用数据源监控模块，集中监听若干数据源中产生的数据动态消息；

S2、使用可插拔消息通讯单元，将数据源监控模块监听的数据动态消息，对数据动态消息进行发送和接收处理；

S3、使用自定义业务处理模块，通过计算分析得出的数据结果集，进行交互系统所需的检索维度数据建模，并根据检索系统新增的检索维度对缓存数据模型及结果进行更新；

S4、使用数据存储模块，对相关消息数据进行存储入库。

7.如权利要求5所述的一种数字化数据同步方法，其特征在于，所述S1中，产生的数据动态消息还传输给中央处理模块，并利用中央处理模块对产生的数据动态消息进行处理和区分，归类至不同的数据源文件夹中。