[发明专利]一种大数据集群组件的配置核查方法、装置及计算设备

说明书

本发明公开了一种大数据集群组件的配置核查方法、装置及计算设备，涉及计算机技术领域，用于减小现有大数据集群组件配置核查中配置人员的工作负担，提高配置核查效率和配置核查的准确度，所述方法包括：获得对大数据集群的主节点的配置信息，并根据配置信息登录主节点；获得主节点对应的主节点大数据组件的启动参数以及从节点的地址IP信息；根据启动参数，获取主节点大数据组件的配置文件，并基于配置文件对主节点大数据组件进行配置核查；在完成对主节点大数据组件的配置核查后，基于从节点的IP信息，利用主机跳转技术自动跳转到第一节点，并在获取第一节点对应的从节点大数据组件的配置文件后，对从节点大数据组件进行配置核查。

技术领域

本发明涉及计算机技术领域，尤其涉及一种大数据集群组件的配置核查方法、装置及计算设备。

背景技术

随着大数据平台规模和数量的迅速增长，大数据组件安全配置风险也日益受到重视。目前在对大数据组件的配置核查中，需要配置人员对需要核查的大数据组件中的进程以及进程的安装路径等进行配置。但由于大数据平台的节点特别多，每个节点对应的大数据组件也会比较多，大数据组件的配置文件路径也各不相同。并且，对于cloudera大数据平台和Hortonworks大数据平台(HortonworksDataPlatform，HDP)等大数据平台(也可以称为大数据集群)的大数据组件，其配置文件路径可能是动态变化的，每次重启组件之后，可能存在配置文件路径变化，又需要花费大量时间重新配置各个大数据组件配置文件路径的，从而给配置检查人员带来很多配置上的困难。

发明内容

本申请实施提供了一种大数据集群组件的配置核查方法、装置及计算设备用于减小现有大数据集群组件配置核查中配置人员的工作负担，提高配置核查效率和配置核查的准确度。

一方面，提供一种大数据集群组件的配置核查方法，所述方法包括：

获得对大数据集群的主节点的配置信息，并根据所述配置信息登录所述主节点；

获得所述主节点对应的主节点大数据组件的启动参数以及从节点的地址IP信息；

根据所述启动参数，获取所述主节点大数据组件的配置文件，并基于所述配置文件对所述主节点大数据组件进行配置核查；

在完成对所述主节点大数据组件的配置核查后，基于所述IP信息，利用主机跳转技术自动跳转到第一节点，并在按照获取主节点配置文件的步骤获取所述第一节点对应的从节点大数据组件的配置文件后，对所述从节点大数据组件进行配置核查，其中，所述第一节点为所述大数据集群中的从节点。

在一种可能的设计中，获得所述主节点对应的主节点大数据组件的配置文件，包括：

通过组件查看jps命令从所述大数据集群中获取正在运行的所述主节点大数据组件以及所述主节点大数据组件的标识ID信息；

通过组件过滤ps命令获得所述主节点大数据组件的启动参数。

在一种可能的设计中，根据所述启动参数，获取所述主节点大数据组件的配置文件，包括：

对所述启动参数进行分析，获得所述主节点大数据组件的安装路径；

根据所述安装路径，确定所述主节点大数据组件的配置文件路径；

根据所述配置文件路径，获得所述主节点大数据组件的配置文件。

在一种可能的设计中，对所述启动参数进行分析，获得所述主节点大数据组件的安装路径，包括：

确定所述启动参数中是否包含所述主节点大数据组件的home属性，若包含，则根据所述home属性确定所述主节点大数据组件的安装路径；或者，

确定所述启动参数中是否包含所述主节点大数据组件的启动的配置文件信息，若包含，则根据所述配置文件信息确定所述主节点大数据组件的安装路径；或者，