[发明专利]kafka集群的topic数据的监控方法及相关设备

权利要求书

1.一种kafka集群的topic数据的监控方法，其特征在于，包括：

访问所有kafka集群，获取所有所述kafka集群中的topic数据；

所述访问所有kafka集群，获取所有所述kafka集群中的topic数据，包括：

从预设的配置中心调取所有所述kafka集群的访问地址和取数时间粒度；

每间隔一所述取数时间粒度，通过所述kafka集群的访问地址访问一次所述kafka集群；

通过每一所述kafka集群自带的管理命令获取每一所述kafka集群中的所述topic数据；

将获取的所述topic数据按照所述kafka集群的唯一标识进行分类存储，并以图表的形式显示所述topic数据；

对最新存储的所述topic数据进行监测，当最新存储的所述topic数据达到告警阈值，发出告警提示。

2.如权利要求1所述的kafka集群的topic数据的监控方法，其特征在于，所述将获取的所述topic数据按照所述kafka集群的唯一标识进行分类存储，并以图表的形式显示所述topic数据，包括：

提取每一所述kafka集群的唯一标识；

用所述kafka集群的唯一标识对相应的topic数据进行标注；

建立kafka集群数据表，以所述kafka集群的唯一标识对所述kafka集群数据表命名；

将标注好的topic数据分别存储到对应的所述kafka集群数据表中；

读取所述kafka集群数据表中topic数据，以图表的形式显示topic数据。

3.如权利要求2所述的kafka集群的topic数据的监控方法，其特征在于，所述对最新存储的所述topic数据进行监测，当最新存储的所述topic数据达到告警阈值，发出告警提示，包括：

读取最新存储至所述kafka集群数据表中的topic数据；

获取预设的告警阈值；

将所述topic数据与所述告警阈值进行比较；

若所述topic数据达到所述告警阈值，则通过向值班人员发送告警邮件进行告警提示。

4.如权利要求1所述的kafka集群的topic数据的监控方法，其特征在于，所述通过每一所述kafka集群自带的管理命令获取每一所述kafka集群中的所述topic数据，包括：

使用所述kafka集群自带的管理命令获取所述topic的最新数据量大小；

查看缓存文件中是否存在所述topic上一次的数据量大小，若存在，则计算数据变化量，计算公式为：logchangesize＝logsize-prelogsize，其中logchangesize为数据变化量，logsize为最新数据量大小，prelogsize为上一次的数据量大小；

将所述数据变化量和所述最新数据量大小输出，并将最新数据量大小更新作为topic上一次的数据量大小，留待下次计算使用；

使用开源KafkaOffsetMonitor，收集所述topic的每个消费者consumer的消费位置consumeroffset和消费延时lag，所述数据变化量、所述最新数据量大小、所述消费位置consumeroffset和所述消费延时则为获取的所述topic数据。

5.如权利要求3所述的kafka集群的topic数据的监控方法，其特征在于，所述将所述topic数据与所述告警阈值进行比较，包括：

提取所述topic数据中的数据变化量和消费延时lag，提取所述告警阈值中的数据变化量告警阈值和消费延时告警阈值；

将所述数据变化量与所述数据变化量告警阈值进行比较，当所述数据变化量低于或等于所述数据变化量告警阈值，则所述数据变化量达到所述数据变化量告警阈值，即所述topic数据达到所述告警阈值；

将所述消费延时与所述消费延时告警阈值进行比较，当所述消费延时超过所述消费延时告警阈值，则所述消费延时达到所述消费延时告警阈值，即所述topic数据达到所述告警阈值。