[发明专利]一种基于flink的微服务性能实时监控方法

说明书

本发明公开一种基于flink的微服务性能实时监控方法，包括以下步骤S1：性能日志埋点；S2：日志采集；S3：聚合计算；S4：结果存储。本发明对微服务架构涉及到的应用服务调用，进行全方位监控，任何一个组件出现问题，就可以通过监控看出出问题的源头在哪。日志埋点时，通过异步单线程进行写入，避免了对应用性能造成影响。在应用层进行一分钟内的监控数据的统计，避免造成了过多的资源浪费。本发明使用flink计算引擎，能够非常实时地计算出结果，使用clickhouse作为数据存储，能支持集群部署，提供稳定性，可靠性，并且不依赖其他组件，更加简单，不易出问题；查询，批量写入性能高；压缩比高，能为企业降低成本。

技术领域

本发明属于微服务架构技术领域，具体涉及一种基于flink的微服务性能实时监控方法。

背景技术

随着互联网的快速发展以及企业架构的不断演化，微服务架构越来越被各企业所采用，微服务带来灵活性，扩展性的同时，分布式应用导致的复杂性也随之而来。服务之间的调用，会因为层级深，链路长，而造成难以监控，一次用户操作的卡顿，很难很快地排查哪个应用哪个部分出现问题，基于传统的通过日志搜索的排查方式，效率低，成本高，很难很好地满足企业的要求。

发明内容

本发明解决的技术问题：难以监控，一次用户操作的卡顿，很难很快地排查哪个应用哪个部分出现问题，基于传统的通过日志搜索的排查方式，效率低，不能满足企业的要求。

技术方案：为了解决上述技术问题，本发明采用的技术方案如下：

本发明基于flink的微服务性能实时监控方法，通过基于flink计算引擎，对微服务的各个组件的性能进行实时监控的一种方法，能及时高效地监控企业应用的性能。

一种基于flink的微服务性能实时监控方法，包括以下步骤：

S1：性能日志埋点；

S2：日志采集；

S3：聚合计算；

S4：结果存储。

作为优选，步骤S1所述性能日志埋点，记录每分钟内同一个服务的总调用次数count、调用成功次数successCount、以及调用总耗时cost。

作为优选，步骤S1中，在所有应用中引入日志埋点软件开发工具包(SDK)，软件开发工具包(SDK)通过异步、单线程reactor的方式自动记录下服务调用的埋点日志。

作为优选，埋点日志记录在指定的固定目录下，且每个日志文件的最大大小为100M，超过100M，则自动创建新的文件，最多保存3个历史备份文件，软件开发工具包(SDK)会自动删除过多的备份文件。

作为优选，步骤S2中，采用filebeat进行日志采集，并将filebeat采集的数据发送至kafka中。

在每台应用部署的服务器上安装filebeat，并且采集埋点日志指定目录下的日志文件，将日志文件发送到kafka中。filebeat是本地文件的日志数据采集器，可监控日志目录或特定日志文件(tail file)，并将它们转发给Elasticsearch或Logstatsh进行索引、kafka等。带有内部模块(auditd，Apache，Nginx，System和MySQL)，可通过一个指定命令来简化通用日志格式的收集，解析和可视化。

作为优选，步骤S3中，flink对kafka中的日志数据进行统计计算，通过聚合计算出每分钟每个服务的总调用次数，总耗时，以及成功率。