[发明专利]支持自定义插件的动态配置多数据库分布式持久化方法

说明书

本发明是一种支持自定义插件的动态配置多数据库分布式持久化方法，对多数据库引擎的海量数据存储提供自动化、可配置、统一化的高效数据接入。本发明方法包括：搭建包含多种存储引擎、配置生成工具loadtool、数据持久化工具Pasca、Zookeeper和Kafka集群的数据平台；loadtool实现自动化配置，上传配置文件到Zookeeper；Pasca监控Zookeeper以动态更新配置；将接入的实时数据或离线数据发往Kafka集群，Pasca启动数据持久化通道，对接入的数据持久化。本发明具有自动化、动态配置、统一化优点，能方便的简单、灵活、高效的持久化数据，充分利用大数据集群的存储和计算资源。

技术领域

本发明属于计算机技术领域，具体涉及一种支持自定义插件的动态配置多数据库引擎分布式持久化技术。

背景技术

随着计算机的不断发展和信息化程度的不断提高，数据量迅速增长，面向海量数据灵活采集应用也随之蓬勃发展。Mysql、Hive、HBase、ElasticSearch等存储引擎存储了结构化、半结构化、非结构化、文本等多种格式的海量数据，但随着多数据库引擎存储需求的迅猛提升，需要更加高效灵活全面的分布式数据持久化技术。

数据持久化认为每条数据都是有价值的，随着数据规模的增大，保证数据在采集和存储阶段的一致性，保障数据的高效流转，提高系统资源的使用率，实现不同格式数据的处理，在多种数据库引擎的存储落地，减少数据在流转过程中的价值损失，使数据在持久化的各个阶段中实现资源利用的最大化。因为随着数据规模的增大，数据落地需求的增多，高效数据持久化服务容灾能力有限，不同场景下数据采集的手动配置，多种数据格式的定制化二次开发，极大的限制了数据持久化的安全性、灵活性，所以做好数据通道的维护管理，提高不同场景下数据持久化服务适配能力，使数据持久化高效、安全、不间断。因此提出一种实现自动化的配置生成、动态的配置更新以及插件化处理不同格式数据的分布式持久化方法成为亟待解决的问题。

发明内容

为了对多数据库引擎的海量数据存储提供自动化、可配置、统一化的高效数据接入，本发明提供了一种支持自定义插件的动态配置多数据库分布式持久化方法，基于数据Schema 及Kafka，实现对Mysql、Hive、HBase、ElasticSearch等数据引擎数据接入过程中的自动化配置生成、动态配置更新以及插件化处理不同格式数据的分布式实现，符合当下大数据持久化的实际需求，具有较大的实际应用前景。

本发明提供的一种支持自定义插件的动态配置多数据库引擎分布式持久化方法，包括如下步骤：

步骤一，搭建大数据基础平台，包括多种存储引擎、配置生成工具loadtool、数据持久化工具Pasca、Zookeeper以及Kafka集群；

步骤二，监控Zookeeper以动态更新配置；

步骤三，进行持久化数据接入，接入的数据类型包括实时数据和离线数据；

步骤四，数据持久化工具Pasca启动数据持久化通道，对接入的数据持久化。

所述的步骤一中，配置生成工具loadtool接收到自动配置指令后，加载标准配置文件，实现配置的增加、删除和修改操作；loadtool将标准配置文件上传至Zookeeper，同时也存入 Mysql数据库备份；所述的标准配置文件包括kaf kaserver和loadserver。数据持久化工具Pasca 从Zookeeper读取配置文件，生成相应存储引擎的数据持久化通道。