[发明专利]通过访问日志统计用户访问数据的方法和装置

说明书

本发明公开了通过访问日志统计用户访问数据的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：利用反向代理节点接收并转发用户的访问请求，生成访问日志；将所述访问日志同步至日志分析节点；根据同步至所述日志分析节点的日志文件，利用所述日志分析节点确定所述用户的访问数据。该实施方式无需侵入WEB应用的源代码，也不存在跨域的问题，能够实现WEB应用与访问数据统计的解耦，从而在不影响WEB应用性能的情况下统计用户的访问数据。周期性地同步日志文件、批量将日志文件保存至数据库，能够减入库数量，减轻数据层的压力，降低数据丢失的风险。

技术领域

本发明涉及计算机技术领域，尤其涉及一种通过访问日志统计用户访问数据的方法和装置。

背景技术

访问数据是根据用户访问记录、按照预设指标统计的指标值数据，如所有点击量、有效点击量等。以点击量为例，传统的点击量统计方法分两种：一种是动态内容页，在WEB应用的每个页面都嵌入一段动态更新访问数据的代码，当用户打开WEB应用的页面时，拦截用户访问请求，用Java等语言先更新该页面的点击数，然后将页面显示出来；第二种是静态页面，当用户打开WEB应用的页面后，触发一个AJAX(一种在无需重新加载整个网页的情况下能够更新部分网页的技术)请求到服务端，然后服务端再更新点击数。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

代码侵入性强，且无法实现WEB应用与访问数据统计的解耦；

静态页面的方式不能跨域，从而增加网络负担，使页面加载变慢，在大流量高并发场景下频繁更新点击数容易使服务器崩溃，影响WEB应用的性能，而且有数据丢失的风险。

发明内容

有鉴于此，本发明实施例提供一种通过访问日志统计用户访问数据的方法和装置，无需侵入WEB应用的源代码，也不存在跨域的问题，能够实现WEB应用与访问数据统计的解耦，从而在不影响WEB应用性能的情况下统计用户的访问数据。周期性地同步日志文件、批量将日志文件保存至数据库，能够减入库数量，减轻数据层的压力，降低数据丢失的风险。

为实现上述目的，根据本发明实施例的一个方面，提供了一种通过访问日志统计用户访问数据的方法，包括：

利用反向代理节点接收并转发用户的访问请求，生成访问日志；

将所述访问日志同步至日志分析节点；

根据同步至所述日志分析节点的日志文件，利用所述日志分析节点确定所述用户的访问数据。

可选地，将所述访问日志同步至日志分析节点，包括：对所述访问日志进行分割，将分割得到的日志文件移动到第一存储位置；将第一存储位置中存储的所述日志文件同步到所述日志分析节点。

可选地，采用第一定时任务对所述访问日志进行分割，将分割得到的日志文件移动到第一存储位置；采用第二定时任务将第一存储位置中存储的所述日志文件同步到所述日志分析节点。

可选地，将所述访问日志同步至日志分析节点，包括：将每个反向代理节点生成的访问日志分别同步至一个日志分析节点，或者，将多个反向代理节点生成的访问日志同步至同一个日志分析节点。

可选地，根据同步至所述日志分析节点的日志文件，利用所述日志分析节点确定所述用户的访问数据，包括：

将同步至所述日志分析节点的日志文件放入任务队列；

对于所述任务队列中的任一日志文件，从所述任一日志文件中解析预设访问信息，以所述访问信息的全部或者至少一部分为键、以所述任一日志文件作为值，生成与所述任一日志文件对应的日志记录；

根据预设时段内每个日志文件对应的日志记录确定所述用户的访问数据。