[发明专利]一种数据采集同步系统与同步方法

权利要求书

1.一种数据采集同步系统，其特征在于，包含用户端、服务端，所述服务端内置有数据库、审核模块、采集同步模块；

所述用户端用于生成传输至所述服务端的全量采集同步请求，所述全量采集同步请求内存储有采集数据；

所述服务端将所述全量采集同步请求分别传输至所述数据库、所述审核模块；所述审核模块用于接收所述全量采集同步请求并审核并生成传输至所述采集同步模块、所述数据库、所述用户端的审核数据，所述审核数据内存储有所述采集数据；

所述数据库用于接收并存储所述全量采集同步请求、所述审核数据；

所述采集同步模块依据所述审核数据进行采集数据的同步；

所述采集同步模块依据所述审核数据进行采集同步的具体步骤如下：

步骤A1：采集同步模块接收审核数据，审核数据内存储有采集数据，采集同步模块判断采集数据是否指定了分片列；

步骤A2：若没有指定分片列，则判断采集数据中是否包含PK字段、UK字段；

若包含PK字段、UK字段则按照PK字段、UK字段的优先级进行分片；

若未包含PK字段、UK字段则不进行分片，所有采集数据作为一个分片进行采集同步；

若指定分片列，则判断该分片列是否包含索引；

步骤A3：若包含索引，则依据索引进行分片采集同步；

若不包含索引，则不进行分片，所有采集数据作为一个分片进行采集同步；

步骤A4：对采集数据按照步骤A2-A3的分类进行采集同步。

2.如权利要求1所述的一种数据采集同步系统，其特征在于，所述采集同步模块包含全量采集同步模块、日志采集模块、流量式增量采集转换模块、流式采集清洗模块、可视化管理配置模块；

所述全量采集同步模块依据所述审核数据进行采集同步，所述全量采集同步模块还用于通过Flink内存计算框架对采集数据进行全量数据的采集同步；

所述日志采集模块用于与所述数据库创建连接监控所述数据库内的binlog日志数据并同步投递到kafka中进行保存；

所述流量式增量采集转换模块用于从所述kafka中获取所述binlog日志数据并进行流式处理转换；

所述流式采集清洗模块用于从所述kafka中获取所述binlog日志数据并进行清洗；

所述可视化管理配置模块用于进行采集同步的开始、停止、查询同步状态、状态异常告警、数据流实时规则配置、数据流实时在线清洗、数据流实时结构化、数据量化；

所述流量式增量采集转换模块对所述binlog日志数据进行流式处理转换的具体步骤如下：

步骤B1：由用户端发出增量采集同步请求至采集同步模块；

步骤B2：采集同步模块先判断是否有全量采集同步请求任务在运行；

若有则暂停增量采集同步请求任务，一段时间后再次判断是否有全量采集同步请求任务在运行，直至全量采集同步请求任务完成；

若没有则判断增量采集同步请求是否有分发规则；

步骤B3：若有分发规则则按照该分发规则将binlog日志数据分发到不同的topic中；

若没有分发规则则将binlog日志数据分发到固定的topic中；

步骤B4：将topic中的binlog日志数据与采集数据合并得到全量数据。

3.如权利要求2所述的一种数据采集同步系统，其特征在于，所述日志采集模块还用于与第三方日志采集组件连接获取日志数据进行同步，具体包含以下步骤；

步骤C1：日志采集模块获取第三方日志采集组件传输的日志数据；

步骤C2：判断该日志数据是否配置清洗规则；

若没有配置清洗规则，则将日志数据加入未知数据中；

若配置了清洗规则，则按照清洗规则进行清洗并进行结构化处理生成结构化日志数据；

步骤C3：将未知数据与结构化日志数据整合并传输至数据库中。

4.如权利要求3所述的一种数据采集同步系统，其特征在于，所述第三方日志采集组件为Flume日志采集组件或Filebaet日志采集组件。