[发明专利]实时日志收集方法、系统和应用服务器集群

说明书

本发明涉及一种实时日志收集方法、系统和应用服务器集群。其中，所述方法包括：在用户终端打开第一应用服务器所提供网页的情况下，第一应用服务器控制用户终端运行预设的日志记录脚本；在日志记录脚本检测到用户进行设定的临时用户行为的情况下，生成包括与临时用户行为相关的临时日志信息的HTTP请求，并从用户终端向实时日志收集系统的第一接收源发送HTTP请求；以及第一接收源将HTTP请求经由实时日志收集系统的第一Kafka通道发送至存储系统。根据本发明实施例的实时日志收集方法、系统和应用服务器集群能够快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。

技术领域

本发明涉及互联网技术领域，尤其涉及一种实时日志收集方法、系统和应用服务器集群。

背景技术

对于大型互联网门户，每天都有上千万用户的访问量。可以通过收集和记录用户对网站功能的消费，然后对这些消费进行离线分析，为网站更好地向用户提供个性化服务提供数据依据。并且，还可以为网安在应对网络热门事件或突发事件时提供调查依据。

传统收集日志的方法是通过前端(客户端)在网页中添加JavaScript脚本，事先确定动作属性(例如播放视频和发布视频等)，将用户的点击动作汇总到远程服务器来分析。这种方法存在能够通过模拟用户行为来捏造点击数据等的缺陷。

目前还有一种收集日志的方法，在后端生成日志后，通过scp命令上传、下载或通过rsync命令定时同步等方式收集汇总，然后通过机器脚本分析、或者人工观察统计、或者图形绘制等方式来分析。这种方法的实时性较差。

另外，由于上述两种方法均需要人工干预，因此对数据规模的适用性较差，无法支持网站持续发展产生的大量日志，并且人工干预过多，不能保证较高的准确性。

发明内容

技术问题

有鉴于此，本发明要解决的技术问题是，如何快速、准确地收集用户行为日志，并快速、准确地获取与关注用户行为相关的信息。

解决方案

根据本发明的一个方面，提供了一种实时日志收集方法，用于收集用户行为日志，包括：在用户终端打开第一应用服务器所提供网页的情况下，所述第一应用服务器控制所述用户终端运行预设的日志记录脚本；在所述日志记录脚本检测到所述用户进行设定的临时用户行为的情况下，生成包括与所述临时用户行为相关的临时日志信息的超文本传输协议HTTP请求，并从所述用户终端向实时日志收集系统的第一接收源发送所述HTTP请求，所述临时日志信息包括所述用户终端的IP地址、进行所述临时用户行为的时间和用户ID中的至少一项；以及所述第一接收源将所述HTTP请求经由所述实时日志收集系统的第一卡夫卡Kafka通道发送至存储系统。

对于上述实时日志收集方法，在一种可能的实现方式中，在所述第一接收源接收到从所述用户终端发送的所述HTTP请求之后，还包括：所述实时日志收集系统的拦截器根据所述HTTP请求，统计第一时间间隔内进行所述临时用户行为的次数。

对于上述实时日志收集方法，在一种可能的实现方式中，还包括：第二应用服务器记录与所述用户行为相关的行为属性，并将在第二时间间隔内所记录的行为属性按照预先设定的日志格式生成日志文件，所述行为属性包括所述用户终端的IP地址、所述用户行为的名称、进行所述用户行为的时间和用户ID中的至少一项；所述实时日志收集系统的代理模块在检测到存在所述日志文件的情况下，将所述日志文件发送至所述实时日志收集系统的第二接收源；以及所述第二接收源将所述日志文件经由所述实时日志收集系统的第二Kafka通道发送至所述存储系统。

对于上述实时日志收集方法，在一种可能的实现方式中，还包括：所述实时日志收集系统的拦截器根据所述日志文件统计第三时间间隔内进行特定用户行为的次数，并在统计出的次数大于设定阈值的情况下，发送异常信息。