[发明专利]一种可视化的分布式运维方法及装置

说明书

本发明提供一种可视化的分布式运维方法及装置，包括在各个应用系统进行无侵入式埋点，采集各个应用系统的日志信息；在应用的操作系统上部署开源插件，采集操作系统的硬件运行信息和操作日志信息；将采集到的各种数据信息通过消息中间件集群传递给流式计算框架集群，流式计算框架集群将接收的数据信息存储成HBase或者HDFS格式的文件；在ELK框架中的Kibana框架的基础上，结合业界的报表插件来实现在Web页面中展示各种视图，并通过分布式缓存来实时推送更新各种视图中的数据。本发明优点：可极大的降低分布式系统的运维难度，提升分布式应用的运维效率，为系统的建设、部署、运行、维护、升级改造等过程提供强有力的保障。

技术领域

本发明涉及互联网运维技术领域，具体涉及一种可视化的分布式运维方法及装置。

背景技术

随着近几年互联网和移动互联网用户的大量增长，需要大量高质量网络安全设备来予以保障。对网络设备的运行维护、实时监控更加重要。在IT运维监控系统中，将对企业的网络设备运行数据进行采集和处理，使得企业可以掌握和管理所有IT资源的运行情况。然而，现有的运维监控软件对设备的监控不够直观，对设备处理的数据质量无法智能的进行提示告警。

目前全国各地网络设备资源的显现度低，现场设备运行维护人员的工作往往具有难度大和工作量大的问题。目前运行维护人员的工作方式大多为被动响应式的，容易造成发现设备出现问题的时间比较滞后，不容易及时发现设备出现的一些小问题以及数据质量下降的一些问题，易造成问题积累而产生大问题出现大影响。现场接入网络的设备数量大，设备的性能参数和软硬件环境不完全相同，现场运维人员的工作仍主要采用手动监控方式，技术门槛较高，效率低下，很难及时发现和预见问题的发生。手动监控是一种离线的、片面的、以点见面式的检查方式，不能够持续对设备运行状态进行监控。更难以对整体系统的运行进行调优工作。另外，现场网络设备的监控需要通过大量的命令语句来进行管理和监控运行状态，有一定的技术难度，运行维护人员遇到问题往往过度依赖厂家。而厂家支持部门的人力资源严重不足，运行维护人员的工作负荷也过重，目前往往处于既要应对发现的明显问题的支持解决，又要面临不断改进服务和提高数据质量、分析故障原因的压力。

基于以上情况，需要有一套完整的、体系化的应用可视化项目，来支撑系统的日常运维工作，以极大的降低分布式系统的运维难度，提升分布式应用的运维效率，为系统的建设、部署、运行、维护、升级改造等过程提供强有力的保障。

发明内容

本发明要解决的技术问题之一，在于提供一种可视化的分布式运维方法，通过该方法来实现分布式系统应用的可视化管理，可极大的降低分布式系统的运维难度，提升分布式应用的运维效率，为系统的建设、部署、运行、维护、升级改造等过程提供强有力的保障。

本发明是这样实现技术问题之一的：一种可视化的分布式运维方法，所述方法包括如下步骤：

步骤1、在各个应用系统上进行无侵入式埋点，采集各个应用系统的日志信息；在应用的操作系统上部署开源插件，采集操作系统的硬件运行信息和操作日志信息；

步骤2、将采集到的各种数据信息通过消息中间件集群传递给流式计算框架集群，流式计算框架集群将接收到的数据信息存储成HBase或者HDFS格式的文件；

步骤3、在ELK框架中的Kibana框架的基础上，结合业界的报表插件来实现在Web页面中展示各种视图，包括获取存储的数据信息，并根据数据信息以及数据层中的CMDB配置库信息来进行业务发展视图、应用性能视图、应用部署视图、后台轮询调度视图、应用接口调用视图、用户体验视图或者应用监控视图的展示；同时通过分布式缓存来实时推送更新各种视图中的数据。

进一步地，所述步骤1具体为：

使用各类钩子脚本在各个应用系统上进行无侵入式埋点，通过各类钩子脚本来拦截各个应用系统中的应用程序或者内部组件的传递参数，以实现获取各个应用系统的日志信息；