[发明专利]全链路监控系统数据收集方法、推送方法及相关设备在审
申请号: | 201910839176.9 | 申请日: | 2019-09-05 |
公开(公告)号: | CN110717132A | 公开(公告)日: | 2020-01-21 |
发明(设计)人: | 李铭路 | 申请(专利权)人: | 深圳平安通信科技有限公司 |
主分类号: | G06F16/958 | 分类号: | G06F16/958 |
代理公司: | 44232 深圳市隆天联鼎知识产权代理有限公司 | 代理人: | 魏学昊 |
地址: | 518000 广东省深圳市前海深*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 数据转化 链路追踪 话题 链路监控系统 集群 推送 订阅 分区 计算机技术领域 数据缓存队列 数据收集组件 架构功能 容量压力 数据接入 数据收集 用户终端 预设数据 组件分配 适配 侵入 架构 缓解 转化 | ||
1.一种全链路监控系统数据收集方法,其特征在于,包括:
接收预设数据转化组件集群订阅的消息话题;
根据所述消息话题的订阅情况,为所述数据转化组件集群中每个数据转化组件分配对应的消息分区;
接收用户终端推送的不同话题的链路追踪消息;
根据所述消息分区的情况,将所述不同话题的链路追踪消息推送到每个话题对应的数据转化组件,以使得所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件。
2.根据权利要求1所述的方法,其特征在于,所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件,包括:
每个数据转化组件将接收到的所述链路追踪消息反序列化为预定协议的链路消息结构体;
将所述链路消息结构体推送到全链路监控系统数据收集组件。
3.根据权利要求1所述的方法,其特征在于,所述根据所述消息话题的订阅情况,为所述数据转化组件集群中每个数据转化组件分配对应的消息分区,包括:
获取数据转化组件集群中每个数据转化组件订阅的消息话题;
基于重平衡算法进行消息分区重平衡,得到每个所述消息话题对应的消息分区;
根据所述数据转化组件集群中每个数据转化组件对应的消息话题,为每个数据转化组件分配对应话题的消息分区。
4.根据权利要求1所述的方法,其特征在于,在所述根据所述消息分区的情况,将所述不同话题的链路追踪消息推送到每个话题对应的数据转化组件,以使得所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件之后,所述方法还包括:
全链路监控系统数据收集组件将所述链路追踪消息的数据存储到消息缓冲队列中,以使得全链路监控系统的数据处理线程将所述链路追踪消息的数据存储到内存。
5.根据权利要求1所述的方法,其特征在于,所述接收用户终端推送的不同话题的链路追踪消息,包括:
接收用户终端的应用按照链路追踪信息的协议推送的业务流程中产生的不同话题的链路追踪信息。
6.一种全链路监控系统数据推送方法,其特征在于,包括:
向预设的消息队列集群订阅消息话题,以获得所述消息队列集群根据所述消息话题的订阅情况为数据转化组件集群中每个数据转化组件分配的对应的消息分区;
接收消息队列集群根据所述消息分区的情况,推送到每个话题对应的数据转化组件的用户终端链路追踪消息;
将所述用户终端链路追踪消息推送到全链路监控系统数据收集组件。
7.根据权利要求6所述的方法,其特征在于,所述消息队列集群包括Kafka消息队列集群。
8.一种全链路监控系统数据收集装置,其特征在于,包括:
订阅模块,用于接收预设数据转化组件集群订阅的消息话题;
分配模块,用于根据所述消息话题的订阅情况,为所述数据转化组件集群中每个数据转化组件分配对应的消息分区;
接收模块,用于接收用户终端推送的不同话题的链路追踪消息;
推送模块,用于根据所述消息分区的情况,将所述不同话题的链路追踪消息推送到每个话题对应的数据转化组件,以使得所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件。
9.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-7任一项所述的方法。
10.一种电子设备,其特征在于,包括:
处理器;以及
存储器,用于存储所述处理器的计算机程序;其中,所述处理器配置为经由执行所述计算机程序来执行权利要求1-7任一项所述的方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳平安通信科技有限公司,未经深圳平安通信科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910839176.9/1.html,转载请声明来源钻瓜专利网。