[发明专利]一种基于分层方式分析网络访问日志的方法和设备

说明书

技术领域

本发明涉及计算机技术领域，尤其涉及一种用于基于分层方式分析网络访问日志的技术。

背景技术

现代的互联网公司，对web服务质量有极高的要求，每一分钟的宕机，都可能给互联网公司带来巨大的损失。

大型web应用，同时在线人数都能达到千万级别。而这些web应用，大部分都是采用分布式的部署方案，例如在全国各省市部署大量的HTTPCache设备和HTTP应用服务器。如何在尽可能短的时间内，完成对这些用户访问日志的采集、归并、分析、报表输出，成为本领域技术人员亟需解决的问题之一。

发明内容

本发明的目的是提供一种基于分层方式分析网络访问日志的方法与设备。

根据本发明的一个方面，提供了一种基于分层方式分析网络访问日志的方法，其中，该方法包括以下步骤：

a采集层获取网络访问日志，并发送至对应的分析层；

b所述分析层对获取到的所述网络访问日志进行实时分析处理，以获得对应的分析结果；

c报表层将所述分析结果以报表形式展现给用户。

根据本发明的另一方面，还提供了一种基于分层方式分析网络访问日志的设备，其中，该设备包括：

采集层装置，用于获取网络访问日志，并发送至对应的分析层装置；

分析层装置，用于对获取到的所述网络访问日志进行实时分析处理，以获得对应的分析结果；

报表层装置，用于将所述分析结果以报表形式展现给用户。

与现有技术相比，本发明基于分层方式，对网络访问日志进行实时分析处理，并将分析结果以报表形式展现给用户，提供了一种实时化的互联网HTTP业务分析方法，基于人群统计学的分析指标，能够较为客观准确地反映互联网HTTP业务的服务情况。本发明解决了大型互联网公司需要对在线HTTP业务进行实时化、可定制监控的问题。

进一步地，本发明采用了分层的设计理念，来降低耦合度，划出了采集层、分析层、报表层。其中，分析层基于URL正则表达式对网络进行实时监控，能够实时化地分析web应用在各地的用户访问日志，无论是业务人员还是开发人员，都可以自助式地增加URL正则表达式，终端报表系统能够在短时间内输出相应的请求量信息、时间信息、故障信息。更一进步地，本发明还可以增加更多的可视化跟踪图表，方便了用户对分析结果的查看和使用。

附图说明

通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：

图1示出根据本发明一个方面的基于分层方式分析网络访问日志的设备示意图；

图2示出根据本发明一个优选实施例的基于分层方式分析网络访问日志的设备示意图；

图3示出根据本发明另一个方面的基于分层方式分析网络访问日志的方法流程图；

图4示出根据本发明一个优选实施例的基于分层方式分析网络访问日志的方法流程图。

附图中相同或相似的附图标记代表相同或相似的部件。

具体实施方式

下面结合附图对本发明作进一步详细描述。

图1示出根据本发明一个方面的基于分层方式分析网络访问日志的设备示意图。该设备1包括采集层装置101、分析层装置102和报表层装置103。

其中，采集层装置101获取网络访问日志，并发送至对应的分析层装置102。具体地，采集层装置101通过实时获取、定期获取或应事件触发地获取等方式，从全网获取网络访问日志，并将获取到的网络访问日志发送至对应的分析层。

例如，该采集层装置101由若干个爬虫组成，定期地，如，每分钟，前往各地机房爬取网络访问日志，并实时发送给上游的分析层装置102。在此，采集层装置101与分析层装置102中间例如使用kafka作为两层之间的通信桥梁。在此，爬虫可通过中央控制器来调度，采用爬虫的方式能够自动适配各类网络环境，能够自动处理短时间的网络拥堵情况等。

本领域技术人员应能理解，上述获取网络访问日志的方式仅为举例，其他现有的或今后可能出现的获取网络访问日志的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。