[发明专利]一种分布式数据源异构同步平台及同步方法

权利要求书

1.一种分布式数据源异构同步平台，其特征在于，该平台包含：前端和服务端；其中，所述前端用于提交数据源和显示数据源同步结果；所述服务端用于接收所述前端提交的数据源，并完成数据源同步请求，并将同步结果传送给所述的前端；所述的前端和服务端之间采用WebSocket技术进行通信；

所述的前端包含：react-admin-master前端独立模块，该前端独立模块采用了react+redux+ruby+webpack的前端框架，其包含：包含创建同步任务子模块、运行状态子模块和历史任务信息子模块；所述的创建同步任务子模块用于创建同步任务；所述的运行状态子模块用于查看当前同步任务的运行状态；所述的历史任务信息子模块用于查看历史任务的信息；

所述的服务端包含：data-transform-api接口模块、data-transform-server服务模块和datax-all服务插件模块；

其中，所述的data-transform-api接口模块用于抽象出微服务需要提供的RESTfulAPI接口，并定义服务端需要接收的信息对象的实体类；该data-transform-api接口模块为微服务提供入口，所述微服务通过该接口模块进行相关信息的传递和服务请求的响应；

其中，所述data-transform-server服务模块用于实现关系型数据源Mysql和分布式数据源Hbase全量导入Elasticsearch全文搜索引擎的功能，以及异构数据源之间的数据类型的转换，并结合外部接口进行异构数据源同步服务；该data-transform-server服务模块包含：分布式数据源配置中心、任务调度线程池、文件处理模块、数据批处理器、缓存池和任务消息处理线程池；

所述的分布式数据源配置中心用于为不同的分布式数据库集群设置别名，并为该集群创建数据源同步处理器，根据数据源的具体类型创建客户端和连接，新建同步任务，并将该任务放入线程池中等待调度；

所述的任务调度线程池用于存放等待执行的数据同步任务，根据并行任务调度算法选择合适的任务进行全量或批量同步，并控制任务的实行，包括启动、暂停、停止和恢复；

所述的文件处理模块负责用于将数据表中的数据转换成SQL文件，然后对数据文件进行分页，实现负载均衡；

所述的数据批处理器负责批量用于进行数据的导入和导出，其包含：HBaseETLController和MySqlETLController两个控制器，这两个控制器是关系型数据源Mysql和分布式数据源Hbase的全量导入导出任务的控制器，实现所述data-transform-api接口模块提供的可供外部调用的控制和数据查询的接口；

所述的缓存池用于保存任务的数据信息，进行全量同步时，任务进度可控，当需要暂停任务时，更改缓存池中的任务信息状态值；

所述的任务消息处理线程池是利用WebSocket技术在所述的客户端和服务端之间随意传递消息队列中的数据信息；

其中，datax-all服务插件模块用于开发Elasticsearch的读写插件和引用的外部接口，主要是在平台中集成了DataX开源框架，对插件进行插件化的管理，并进行任务信息的跟踪控制、流量控制、负载均衡控制和解决异构数据源中数据类型不匹配的问题。

2.根据权利要求1所述的分布式数据源异构同步平台，其特征在于，所述的react-admin-master前端独立模块包含：创建同步任务子模块、运行状态子模块和信息查询子模块；

其中，所述的创建同步任务子模块用于接受所述前端的用户界面提交的任务配置信息，并根据这些配置信息调用所述的data-transform-api接口模块中的任务管理接口以创建任务；

其中，所述的运行状态子模块接受所述前端的用户请求，调用所述的data-transform-api接口模块中的任务控制接口，以显示正在运行的作业状态，和显示任务的进度条，若为全量作业，则可控制任务的状态，并对其进行暂停、重启的操作；

其中，所述的信息查询子模块与所述前端的用户界面连接，通过调用所述的data-transform-api接口模块中的任务查询接口，查看历史任务，并判断当前使用的各个数据源是否同步。