[发明专利]主辅数据同步方法及系统

权利要求书

1.一种主辅数据同步方法，其特征在于，所述方法包含：

通过第一级消息中间件获取主数据源集中式数据库中的数据文件，解析所述数据文件获得对应的路由字段信息；

根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件内分布式数据库对应的消息队列拉取；

通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库；

通过第一级消息中间件获取主数据源集中式数据库中的数据文件之前包含：获取所述主数据源集中式数据库中主数据源的表信息；根据所述表信息构建主题，通过所述主题复制获取所述数据文件；通过所述分布式数据库中分片存储节点数量对所述主题以横向切割的方式进行分片处理获得一个或多个分区，根据所述分区创建对应的消费组；

根据所述系统路由将对应的所述数据文件提供至与第二级消息中间件中与所述分布式数据库对应的消息队列拉取还包含：根据所述分布式数据库中各分片存储节点的系统吞吐量和所述数据文件中表的数量于所述第二级消息中间件中构建一个或多个消息队列；

通过所述消息队列将拉取的所述数据文件同步至对应的所述分布式数据库包含：根据所述分布式数据库中分片存储节点构建消费者，通过所述消费者于对应的消息队列中拉取所述数据文件，通过预设数据核对表记录当前获取的所述数据文件在所述消息队列中的起始位置信息，并将状态修改为未完成状态；根据获得到的所述数据文件的数据操作类型，将所述数据文件拼接为执行查询语句；通过所述执行查询语句将所述数据文件同步至对应的分片存储节点中，并将状态修改为完成状态。

2.根据权利要求1所述的主辅数据同步方法，其特征在于，通过第一级消息中间件获取主数据源集中式数据库中的数据文件包含：

根据所述消费组、所述分区和所述主题构建消费者，按预设周期通过所述消费者于所述第一级消息中间件中获取所述数据文件；

通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的起始位置信息，并将状态修改为未完成状态。

3.根据权利要求2所述的主辅数据同步方法，其特征在于，根据所述路由字段信息计算获得系统路由，根据所述系统路由将对应的所述数据文件发送至与第二级消息中间件中与所述分布式数据库对应的消息队列还包含：通过预设数据核对表记录当前获取的所述数据文件在所述第一级消息中间件中的结束位置信息，并将状态修改为完成状态。

4.根据权利要求1所述的主辅数据同步方法，其特征在于，通过所述执行查询语句将所述数据文件同步至对应的分片存储节点中包含：

构建预定数量的线程并根据所述执行查询语句的唯一索引字段计算murmur哈希值；

根据所述murmur哈希值将所述执行查询语句分配至所述线程中，通过所述线程执行所述行查询语句，以将所述数据文件同步至对应的分片存储节点。

5.根据权利要求1所述的主辅数据同步方法，其特征在于，所述方法还包含：

获取所述主数据源集中式数据库在预定周期内的数据文件变更记录及对应的修改时间戳；

所述分布式数据库根据所述数据文件变更记录和所述修改时间戳对接收到的所述数据文件进行逐条核对。