[发明专利]一种大数据运维监控的多平台适配方法

说明书

本发明公开了一种大数据运维监控的多平台适配方法，包括以下步骤：将一组样例平台依据功能组件进行聚类分析得到多个平台集合，并在多个平台集合中对功能组件进行适配共性分析得到每个平台集合的适配共性组件；利用BP神经网络在平台集合中对平台功能特征与适配共性组件进行学习训练得到共性适配模型。本发明构建出平台与平台之间、平台与组件之间的运维关联性，利用模型产生统一的运维监控视角，建立在不同的平台之间进行合理适配，避免各组件之间在运维层面集成困难、重复建设、自动化程度偏低的困境，能够实现大数据平台的一体化运维管理。

技术领域

本发明涉及运维监控技术领域，具体涉及一种大数据运维监控的多平台适配方法。

背景技术

Ambari跟Hadoop等开源软件一样，也是ApacheSoftwareFoundation中的一个项目，并且是顶级项目。就Ambari的作用来说，就是创建、管理、监视Hadoop的集群，这里的Hadoop是广义，指的是Hadoop整个生态圈（例如Hive，Hbase，Sqoop，Zookeeper等），而并不仅是特指Hadoop。用一句话来说，Ambari就是为了让Hadoop以及相关的大数据软件更容易使用的一个工具。Ambari作为大数据运维监控的顶级开源项目，在大数据平台搭建和运维中得到广泛应用。然而官方的ambari默认只支持x86的cpu架构，以及centos和ubuntu操作系统，在国产操作系统上无法运行。

传统的大数据运维平台组件种类复杂，一般包含多种开源技术产品，如：Hadoop、ElasticSearch、HBase、Phoenix产品等，涉及的组件类型多，如：容器、中间件、数据库等。由于不同组件之间没有统一的运维接口，一般采用原生接口各自进行运维管理，通过该方式搭建的大数据运维管理平台为离散型，系统与系统之间、组件与组件之间的运维较为割裂，缺乏统一的运维监控视角，也无法建立在不同的平台之间进行合理适配，各组件之间在运维层面集成困难、重复建设、自动化程度偏低，难以实现大数据平台的一体化运维管理。

发明内容

本发明的目的在于提供一种大数据运维监控的多平台适配方法，以解决现有技术中离散型，系统与系统之间、组件与组件之间的运维较为割裂，缺乏统一的运维监控视角，也无法建立在不同的平台之间进行合理适配，各组件之间在运维层面集成困难、重复建设、自动化程度偏低，难以实现大数据平台的一体化运维管理的技术问题。

为解决上述技术问题，本发明具体提供下述技术方案：

一种大数据运维监控的多平台适配方法，包括以下步骤：

步骤S1、拆分运维监控的功能组件，获取每个功能组件的运维监控功能特征；

步骤S2、选取一组样例平台，获取每个样例平台的平台功能特征，并标注样例平台使用的所述功能组件；

步骤S3、将一组样例平台依据功能组件进行聚类分析得到多个平台集合，并在多个平台集合中对功能组件进行适配共性分析得到每个平台集合的适配共性组件；

步骤S4、利用BP神经网络在平台集合中对平台功能特征与适配共性组件进行学习训练得到共性适配模型，以实现大数据运维监控的多平台自主适配。

作为本发明的一种优选方案，所述运维监控功能特征包括组件输入数据类型、组件输出数据类型以及组件监控功能类型。

作为本发明的一种优选方案，所述平台功能特征包括平台输入数据类型、平台输出数据类型以及平台监控目标类型。

作为本发明的一种优选方案，所述将一组样例平台依据功能组件进行聚类分析得到多个平台集合，包括：

将每个样例平台的所有功能组件对应的所有运维监控功能特征向量化作为每个样例平台的特征向量；

将一组样例平台基于特征向量进行聚类分析，以实现将一组样例平台划分为多个平台集合。