[发明专利]网络审计中URL日志的分布式分析系统及分析方法

说明书

技术领域

本发明涉及信息安全领域，特别是涉及一种网络审计中的URL（Uniform Resource Location，统一资源定位符）分布式分析系统及分析方法。

背景技术

随着科学技术的不断发展，人们的生活和工作已离不开互联网。在互联网飞速发展壮大并成为全球最重要的基础设施的今天，由于缺乏必要的管制，互联网上开始充斥着色情暴力、侵权行为、造谣诽谤、虚假广告等一系列影响国家安全、社会稳定及个人健康发展的负面内容。为了维护国家安全，给互联网营造一个良好的发展环境，互联网安全审计系统势在必行。在网络安全审计系统中，网页的URL日志占用了存储系统的大部分容量，人们大部分的操作都和WEB有关，例如常见的上网看新闻、查资料、在网上购物、收发邮件、网页游戏等，这些都产生了大量的URL日志信息，大量的URL日志被传输到中心平台，使用者在使用数据时，将面临海量数据查询与分析所带来的计算压力。传统的处理方式将所有的数据分析放在中心平台进行，要分析出用户最近浏览的网址以及感兴趣的事物比较困难，要分析出用户所有的上网日志，需要花费大量的时间才能完成计算，效率非常低下。

发明内容

本发明的目的是为了克服上述背景技术的不足，提供一种网络审计中URL日志的分布式分析系统及分析方法，能够快速分析不同人的URL日志记录，分析查看特定网站的人员，反映不同人的兴趣爱好、潜在的可疑网址，有效减小中心平台的压力，缩短分析的时间，提高整个审计系统的运行效率。

本发明提供的网络审计中URL日志的分布式分析系统，包括若干前端审计设备和一个审计中心平台，若干前端审计设备通过网络与审计中心平台相连，前端审计设备完成数据的抓取与还原，获取用户的URL日志，所述URL日志包括产生该URL日志的人员的姓名、证件号码、证件类型、所使用电脑IP、所使用电脑MAC地址和该URL日志产生的时间，前端审计设备采用分布式协同的方式进行URL日志的分析与处理，并将URL日志存储在前端审计设备上，同时将URL日志数据上传到审计中心平台；审计中心平台接收前端审计设备上传的数据，并保存URL日志，接收用户的业务查询请求，并将查询请求下发到前端审计设备；每个前端审计设备包括顺次相连的数据采集模块、前端存储模块和前端分析模块，审计中心平台包括顺次相连的中心存储模块、中心分析模块和查询展示模块；查询者在审计中心平台的中心分析模块中设置需要被分析用户的真实身份或虚拟身份，指定查询的参数范围，所述指定查询的参数包括时间参数和前端场所信息参数，前端场所信息参数包括被查询的IP地址、上网的场所地址或所使用机器的MAC地址，中心分析模块将指定查询的参数范围发送到查询展示模块；审计中心平台的查询展示模块查看所指定的参数，若指定的参数范围在系统设定的阈值内，则审计中心平台的中心分析模块根据指定的参数范围将任务下发到指定区域的前端审计设备，前端审计设备进行URL日志的分析与处理，并将分析的结果返回给审计中心平台的中心分析模块；否则，审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理；审计中心平台的中心分析模块接收前端审计设备的前端分析模块返回的数据，并将结果汇总，审计中心平台的查询展示模块将汇总后的结果展示给查询者。

在上述技术方案的基础上，所述前端审计设备进行URL日志的分析与处理的流程如下：

S1、HTTP协议默认采用80端口传输用户的URL日志，80端口是为超文本传输协议HTTP开放的网页服务器的访问端口，前端审计设备中的数据采集模块通过80端口监听用户发给服务器的请求，根据用户发给服务器的请求从80端口获取数据包；

S2、前端审计设备中的数据采集模块查找用户发给服务器的请求中是否存在GET字段，GET字段表示用户向服务器发出获取资源的请求，其后的内容为请求具体资源的地址，如果用户发给服务器的请求中存在GET字段，转到步骤S3，否则结束；

S3、如果用户发给服务器的请求中存在GET字段，表明用户在进行URL操作，从该请求中找出相邻位置的HOST字段，HOST字段表示请求资源所在主机的域名，找到发出该请求的主机，将该请求的GET字段内容拼接到HOST字段之后，得到该请求所访问网站的网址，转到步骤S4；

S4、前端审计设备中的数据采集模块将获取的网址发送到前端存储模块进行保存，转到步骤S5；

S5、前端审计设备中的数据采集模块将获取的网址上传到审计中心平台的中心存储模块进行保存。

在上述技术方案的基础上，所述审计中心平台的中心分析模块采用分布式协同方式进行URL日志的分析与处理的流程如下：