[发明专利]全链路监控系统数据收集方法、推送方法及相关设备

说明书

本公开是关于一种全链路监控系统数据收集方法、推送方法及相关设备，属于计算机技术领域，该方法包括：接收预设数据转化组件集群订阅的消息话题；根据所述消息话题的订阅情况，为所述数据转化组件集群中每个数据转化组件分配对应的消息分区；接收用户终端推送的不同话题的链路追踪消息；根据所述消息分区的情况，将所述不同话题的链路追踪消息推送到每个话题对应的数据转化组件，以使得所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件。本公开实现不侵入原有架构功能模块的情况下，可以满足既有用户的数据接入方式的适配需求，也能缓解原有架构下数据缓存队列面对业务峰值时的容量压力。

技术领域

本公开涉及计算机技术领域，具体而言，涉及一种全链路监控系统数据收集方法、推送方法及相关设备。

背景技术

目前分布式系统越做越大，服务规模也越来越复杂，为了减轻运维压力、提高排错能力，分布式系统的全链路监控系统就显得尤为重要。分布式全链路监控系统如jaeger是基于例如opentracing协议的监控系统，它能在请求的上下文传递中兼容某种协议。当用户的系统在运营的过程中，会产生非常多的追踪信息，而这些追踪信息可以帮助用户了解到系统内各个组件间的使用状况。用户可以在自己的业务系统中，在接口调用时，将相关的追踪信息上报到分布式全链路监控系统中。

现有技术中，分布式全链路监控系统可以在请求的上下文中兼容zipkin等协议，但是，对于已经接入zipkin等协议的用户，分布式全链路监控系统在数据上报的方式上并不能直接适配，需要用户修改已有的代码和链路数据上报方式的配置，并且面对用户在业务峰值时上报的海量数据，分布式全链路监控系统自有的数据收集组件的缓冲队列容量难以满足业务峰值时的数据负载。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种全链路监控系统数据收集方案，进而至少在一定程度上在实现不侵入原有架构功能模块的情况下，可以满足既有用户的数据接入方式的适配需求，也能缓解原有架构下数据缓存队列面对业务峰值时的容量压力。

根据本公开的一个方面，提供一种全链路监控系统数据收集方法，包括：

接收预设数据转化组件集群订阅的消息话题；

根据所述消息话题的订阅情况，为所述数据转化组件集群中每个数据转化组件分配对应的消息分区；

接收用户终端推送的不同话题的链路追踪消息；

根据所述消息分区的情况，将所述不同话题的链路追踪消息推送到每个话题对应的数据转化组件，以使得所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件。

在本公开的一种示例性实施例中，所述数据转化组件将所述链路追踪消息推送到全链路监控系统数据收集组件，包括：

每个数据转化组件将接收到的所述链路追踪消息反序列化为预定协议的链路消息结构体；

将所述链路消息结构体推送到全链路监控系统数据收集组件。

在本公开的一种示例性实施例中，所述根据所述消息话题的订阅情况，为所述数据转化组件集群中每个数据转化组件分配对应的消息分区，包括：

获取数据转化组件集群中每个数据转化组件订阅的消息话题；

基于重平衡算法进行消息分区重平衡，得到每个所述消息话题对应的消息分区；

根据所述数据转化组件集群中每个数据转化组件对应的消息话题，为每个数据转化组件分配对应话题的消息分区。