[发明专利]基于Kafka的服务进程可视化监控与管理的方法及装置

说明书

本发明提供一种基于Kafka的服务进程可视化监控与管理的方法及装置，其中，方法包括：接收用户提供的端口信息，并将端口信息存入mysql数据库；根据端口信息，基于预设的刷新时间间隔，向业务平台的各个节点进行查询扫描，获取端口信息对应的端口的状态信息；将状态信息写入Kafka主题进行存储；基于端口状态信息和秒级的时间信息对服务进程进行监控及管理；基于端口状态信息和秒级的时间信息，制成可视化图像并显示。本发明的基于Kafka的服务进程可视化监控与管理的方法，基于Kafka进行设计，具有高实时性与容错性。可自动化恢复进程，减少维护人员的操作成本，提供进程级别的监控告警，为用户对庞大而复杂的业务平台进行异常定位提供了极大的便利。

技术领域

本发明涉及监控与管理技术领域，特别涉及一种基于Kafka的服务进程可视化监控与管理的方法、装置、计算机设备及存储介质。

背景技术

目前，任何IT处理业务往往需要庞大且复杂的服务平台来支持。以大数据处理为例，数据在抽取、计算、传输、存储与加载等过程中会依赖多个大数据组件，例如Hadoop、Spark、HBase、Flume和Zookeeper等,每个组件都具有至少一种服务端口。只有这些端口所在的服务进程全部正常，才能保证整个处理流程执行完整。而目前，大部分服务组件不具备进程的监控界面，因此服务的异常终止往往不能被维护人员第一时间感知，需要一系列排查才能找到死亡的服务进程，增大了问题定位的成本。因此，实现一种高实时性、可视化的进程监控管理，可以使问题定位与处理更加便捷，减少运维成本。

发明内容

本发明目的之一在于提供了一种基于Kafka的服务进程可视化监控与管理的方法，基于Kafka进行设计，具有高实时性与容错性。同时提供前端模块，用户可进行可视化监控与便捷的操作。可自动化恢复进程，减少维护人员的操作成本，提供进程级别的监控告警，为用户对庞大而复杂的业务平台进行异常定位提供了极大的便利。

本发明实施例提供的一种基于Kafka的服务进程可视化监控与管理的方法，包括：

接收用户提供的端口信息，并将所述端口信息存入mysql数据库；

根据所述端口信息，基于预设的刷新时间间隔，向业务平台的各个节点进行查询扫描，获取所述端口信息对应的端口的状态信息；

将所述状态信息写入Kafka主题进行存储；

在每次查询扫描时，都会产生一个秒级的时间信息，将所述秒级的时间信息与所述状态信息对应存储；

从所述Kafka主题中获取存储的所述状态信息和所述秒级的时间信息；

基于所述端口状态信息和所述秒级的时间信息对服务进程进行监控及管理；

基于所述端口状态信息和所述秒级的时间信息，制成可视化图像并显示。

优选的，所述端口信息包括：监控的目标服务端口、端口所在的主机节点、服务的启动命令以及信息刷新的时间间隔其中一种或多种结合。

优选的，状态信息包括：端口的对应进程号、进程状态与父进程的信息列表。

优选的，所述基于所述端口状态信息和所述秒级的时间信息对服务进程进行监控及管理；包括：

当端口的进程信息为空时，发出监控告警，同时尝试执行所述端口的启动命令；

当所述进程状态为空时，则杀死所述进程及对应的父进程，执行端口的启动命令。

优选的，基于Kafka的服务进程可视化监控与管理的方法，还包括：

在显示端口的进程信息时，还接收用户对于所述进程的操作指令；

执行所述操作指令；

其中，所述操作指令包括：重启或杀死。