[发明专利]一种分布式多系统用户行为日志的采集方法

说明书

本发明一种分布式多系统用户行为日志的采集方法，包括作为应用的统一访问入口的REST服务层、Kafka集群、用户的业务日志系统和应用系统的运行日志系统，在REST服务层记录用户的业务日志，能够最真实地采集并记录用户请求的相关参数，能够最直接表达用户的意愿，对后期的用户行为分析，提供更加可靠的数据来源，不需要在业务处理中采集参数并传递很多次，减少了接口的复杂度。本发明将用户的业务日志与各子系统的运行日志分离,降低了分析的复杂度。其中，通过用户的业务日志分析用户访问和操作习惯，便于改进应用的用户体验，提升服务效果，通过系统日志用于解决和排查应用出现的问题，解决应用的异常，保证应用的稳定性。

技术领域

本发明涉及一种分布式多系统用户行为日志的采集方法。

技术背景

在一个互联网应用中，日志系统是一个非常重要的功能组成部分，它可以记录下系统所产生的所有行为，根据日志系统所记录的信息可以用于线上业务的准实时监控、业务异常时及时定位原因、排除故障、程序研发时跟踪分析Bug、业务趋势分析、安全与合规审计，优化系统的性能，或者根据这些信息调整系统的行为；以及深度挖掘日志的大数据价值，更好地为用户服务。传统的日志记录采集，为了用户的业务日志的完整性，需要将一些参数在业务处理中传递很多次，增加了接口的复杂度。

发明内容

本发明的目的在于提供一种分布式多系统用户行为日志的采集方法,将用户的业务日志与各子系统的运行日志分离，不仅降低了日志分析的复杂度，而且不需要在业务处理过程中采集参数并传递很多次，减少了接口的复杂度。

本发明一种分布式多系统用户行为日志的采集方法，包括：作为应用的统一访问入口的REST服务层、Kafka集群、用户的业务日志系统和应用系统的运行日志系统，该用户的业务日志系统收集用户的业务日志记录，该应用系统的运行日志系统收集应用系统的运行日志记录，包括如下步骤：

步骤1、浏览者通过应用发出的请求统一经过REST服务层，再由REST服务层调用分布式多系统中各个子系统提供的Dubbo服务，该REST服务层是应用的统一访问入口，在REST服务层统一收集用户的业务日志记录；

步骤2、将收集到的用户的业务日志记录发送到Kafka集群，用户的业务日志系统通过Kafka集群获取所述的用户的业务日志记录，进行日志存储和分析；

步骤3、采集分布式多系统中各个子系统的运行日志记录，并发送到Kafka集群，应用系统的日志系统通过Kafka集群获取所述各个子系统的运行日志记录，进行日志存储和分析。

该用户的业务日志记录主要包括：

访问服务器的远程机器的地址：用于得知浏览者来自何方，以及用户的分布；

浏览者访问的资源：用于得知应用中的哪些部分最受欢迎；

浏览者的浏览时间：用于从浏览时间对应用内容进行调整；

浏览者使用的设备类型和ID：用于根据大多数浏览者使用的设备类型进行优化；

浏览者单次请求的耗时：用于根据请求的耗费时间进行性能优化；

浏览者发送请求的参数：用于根据请求的参数分析浏览者兴趣点。

由于REST服务层是用户请求和访问系统的第一层，在这里记录用户的业务日志，能够最真实地采集并记录用户请求的相关参数，能够最直接表达用户的意愿，对后期的用户行为分析，提供更加可靠的数据来源。本发明在REST服务层记录用户的业务日志，不需要为了专门记录用户操作日志而多次传递参数(例如浏览者的IP地址等)，不需要在业务处理中采集参数并传递很多次，减少了接口的复杂度。本发明将用户的业务日志与各子系统的运行日志分离,降低了分析的复杂度。其中，通过用户的业务日志分析用户访问和操作习惯，便于改进应用的用户体验，提升服务效果，通过系统日志用于解决和排查应用出现的问题，解决应用的异常，保证应用的稳定性。