[发明专利]一种管理大数据组件配置文件的方法及系统

说明书

本申请公开了一种管理大数据组件配置文件的方法及系统，该方法包括：采用UI方式采集K8S集群中的大数据组件配置信息，根据该配置信息生成配置文件，然后将配置文件与其所匹配的应用程序分离，并实时监控配置文件的状态，当其状态发送变化时，及时通过UI发送升级信息，最后根据该升级信息对K8S集群中的大数据组件进行Pod升级和回退操作。该系统包括：UI模块、配置文件生成模块、配置文件管理模块、配置文件监控模块以及大数据组件管理模块。通过本申请，能够有效提高配置文件的管理效率和配置文件信息的准确性。

技术领域

本申请涉及大数据管理技术领域，特别是涉及一种管理大数据组件配置文件的方法及系统。

背景技术

随着大数据技术的发展，各种大数据组件应运而生。对大数据组件的配置文件进行管理，是大数据管理的重要内容。因此，如何管理大数据组件的配置文件，是个重要的技术问题。

目前管理大数据组件配置文件的方法，通常是将大数据组件容器化，然后通过Kubernetes，也就是K8S进行编排、部署和运维已然成为大势所趋，但每个服务器部署一个K8S架构，在本地获取大数据，每个服务器上的大数据组件众多，每个组件自身包含的配置文件也比较多，组件之间具有较强的配置依赖，通常修改配置文件后，需要手动重启Pod，实现数据更新。

然而，目前管理大数据组件配置文件的方法中，由于每个服务器部署一个K8S架构，对配置文件的管理效率较低。而且，需要配置文件修改后需要手动重启Pod，操作效率较低，工作人员忘记手动重启会导致虽然修改K8S Pod，但是并不会升级相应的Pod，客户端收到的并不是更新后的配置文件，导致对配置文件的修改无效，进而导致对配置文件的管理效率较低。

发明内容

本申请提供了一种管理大数据组件配置文件的方法及系统，以解决现有技术中的管理方法对配置文件的管理效率较低问题。

为了解决上述技术问题，本申请实施例公开了如下技术方案：

一种管理大数据组件配置文件的方法，所述方法包括：

采用UI(User Interface，界面设计)方式，采集K8S集群中的大数据组件配置信息；

根据所述配置信息生成配置文件；

将所述配置文件与其所匹配的应用程序分离；

实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，所述升级信息用于升级Pod；

根据所述升级信息，对K8S集群中的大数据组件进行Pod升级和回退操作。

可选地，所述采用UI方式，采集K8S集群中的大数据组件配置信息，包括：

采用UI方式，获取大数据组件配置信息修改命令；

根据所述修改命令，采集K8S集群中相应的大数据组件配置信息；

以表单的方式提交所述配置信息。

可选地，将所述配置文件与其所匹配的应用程序分离，包括：

更新表单中的配置信息到相应的配置文件；

根据所述配置文件生成K8S ConfigMap资源对象；

通过K8S部署大数据组件的容器；

将所述K8S ConfigMap资源对象挂载到所述容器中。

可选地，所述实时监控所述配置文件的状态，当所述配置文件的状态发生变化时，通过UI发送升级信息，包括：

定义配置文件的状态初始值；

实时监测所述配置文件的哈希值；