[发明专利]一种日志收集方法和装置

说明书

本发明公开了一种日志收集方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据，提取与所述元数据对应的日志数据并显示。该实施方式利用请求SID将同一个请求中多个业务Server进行标记和聚合，注册中心仅记录各个业务Server的meta信息，较之现有需要记录完整log数据的方式，具有轻量级的特点，且降低了网络带宽传输压力。

技术领域

本发明涉及计算机技术领域，尤其涉及一种日志收集方法和装置。

背景技术

现有的广告业务平台在日常开发中，需要收集广告处理全流程中内部Debug(调试错误)记录的log数据，以对业务逻辑及代码进行分析以定位bad case(问题案例/不符合预期案例)。而这些log数据通常散落在adserver及不同的业务平台上，因此收集过程即为在分布的各个业务节点上收集log数据。

目前针对分布式节点收集log数据的方法主要分为两种：

1、实时收集：通过filebeat或logstash，将各个业务节点上实时产生的log数据发送至中心服务器Elasticsearch集群上。后续在请求获取log数据时，通过请求此中心服务器对应的接口，以将所有相关log数据组织聚合后返回给请求方；

2、离线收集：通过flume(日志收集系统)将各个业务节点上的log数据按照天/小时等粒度批量写入到中心服务器hadoop集群上。后续在请求获取log数据时，同样需要访问中心服务器将HDFS(Hadoop分布式文件系统)上的log数据返回给请求方。

在实现本发明的过程中，发明人发现现有技术至少存在如下问题：

1、实时收集方式中，中心服务器需要实时收集log数据，负载压力和对网络传输的带宽压力较大，且实时情况下难以处理较大规模数据量的传输；

2、离线收集方式虽可以处理大规模的数据量，但只能查询历史log数据，实时性较差。而且大规模数据量情况下，HDFS写入和查询响应较慢；

3、中心化严重，中心服务器需要同时负责log数据的收集和响应查询，对网络带宽造成较大的压力，可靠性较差。

发明内容

有鉴于此，本发明实施例提供一种日志收集方法和装置，至少能够解决现有技术中日志管理中心化严重的问题。

为实现上述目的，根据本发明实施例的一个方面，提供了一种日志收集方法，包括：

响应于日志查询请求，根据所述日志查询请求中的用户名，查询与所述用户名对应的浏览访问请求；

获取与所述用户名和所述浏览访问请求对应的请求识别码，确定传递所述请求识别码的业务节点；

根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据，提取与所述元数据对应的日志数据并显示。

可选的，在所述根据所述用户名、所述请求识别码和所述业务节点的节点识别码，获取元数据之前，还包括：

在所述业务节点启动时，利用信息摘要算法对所述业务节点的命令行参数值进行处理，以处理得到的字符串为文件名，创建所述业务节点的微服务实例文件；以及

根据所述业务节点的初始化时间戳，生成所述节点识别码，并将所述节点识别码写入所述微服务实例文件中。

可选的，还包括：若在文件名目录中查询存在所述字符串，则提取与所述字符串对应的微服务实例文件，并将所述微服务实例文件中的节点识别码作为所述业务节点的节点识别码。