[发明专利]适用于MySQL中客户数据的并行异构方法、系统、介质及设备

权利要求书

1.一种适用于MySQL中客户数据的并行异构方法，其特征在于，包括：

环境搭建步骤：准备预定MySQL数据库，搭建可用度大于设定阈值的Canal和Elasticsearch环境；

环境配置步骤：在Canal上配置需要进行数据异构处理的MySQL信息；

Canal-Consumer服务开发步骤：全量异构初始化客户设定数据，对binlog日志的订阅，按照客户主键ID分组的处理线程，处理客户相关表数据的Sluice，使用Elasticsearch的API以及Elasticsearch索引的创设；

Elasticsearch索引创设步骤：使用客户ID作为Elasticsearch的文档ID，提取业务需求的数据创设Mapping；

并行处理步骤：获取对应的处理表Sluice，按照客户主键ID，通过ID％线程数获得对应的线程标识，将取到的binlog操作数据放入到对应线程的队列中，线程中调用Elasticsearch对应的API完成操作，获取并行处理结果信息。

2.根据权利要求1所述的适用于MySQL中客户数据的并行异构方法，其特征在于，还包括：

EsQuery服务开发步骤：使用Elasticsearch的查询API，根据具体业务需求的查询，提供对外查询接口，获取EsQuery服务开发结果信息。

3.根据权利要求1所述的适用于MySQL中客户数据的并行异构方法，其特征在于，还包括：

处理查询服务搭建步骤：部署可用度大于设定阈值的Canal-Consumer服务以及EsQuery服务，获取处理查询服务搭建结果信息。

4.根据权利要求1所述的适用于MySQL中客户数据的并行异构方法，其特征在于，还包括：

结果验证步骤：实时同步数据和查询数据，获取验证结果信息。

5.一种适用于MySQL中客户数据的并行异构系统，其特征在于，包括：

环境搭建模块：准备预定MySQL数据库，搭建可用度大于设定阈值的Canal和Elasticsearch环境；

环境配置模块：在Canal上配置需要进行数据异构处理的MySQL信息；

Canal-Consumer服务开发模块：全量异构初始化客户设定数据，对binlog日志的订阅，按照客户主键ID分组的处理线程，处理客户相关表数据的Sluice，使用Elasticsearch的API以及Elasticsearch索引的创设；

Elasticsearch索引创设模块：使用客户ID作为Elasticsearch的文档ID，提取业务需求的数据创设Mapping；

并行处理模块：获取对应的处理表Sluice，按照客户主键ID，通过ID％线程数获得对应的线程标识，将取到的binlog操作数据放入到对应线程的队列中，线程中调用Elasticsearch对应的API完成操作，获取并行处理结果信息。

6.根据权利要求5所述的适用于MySQL中客户数据的并行异构系统，其特征在于，还包括：

EsQuery服务开发模块：使用Elasticsearch的查询API，根据具体业务需求的查询，提供对外查询接口，获取EsQuery服务开发结果信息。

7.根据权利要求5所述的适用于MySQL中客户数据的并行异构系统，其特征在于，还包括：

处理查询服务搭建模块：部署可用度大于设定阈值的Canal-Consumer服务以及EsQuery服务，获取处理查询服务搭建结果信息。

8.根据权利要求5所述的适用于MySQL中客户数据的并行异构系统，其特征在于，还包括：

结果验证模块：实时同步数据和查询数据，获取验证结果信息。

9.一种存储有计算机程序的计算机可读存储介质，其特征在于，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的适用于MySQL中客户数据的并行异构方法的步骤。

10.一种适用于MySQL中客户数据的并行异构设备，其特征在于，包括：控制器；

所述控制器包括权利要求9所述的存储有计算机程序的计算机可读存储介质，所述计算机程序被处理器执行时实现权利要求1至4中任一项所述的适用于MySQL中客户数据的并行异构方法的步骤；或者，所述控制器包括权利要求5至8中任一项所述的适用于MySQL中客户数据的并行异构系统。