[发明专利]一种结合爬虫的日志分析方法

说明书

技术领域

本发明涉及日志分析领域，特别是一种结合爬虫的日志分析方法。

背景技术

现有的日志分析方法大致从两点出发去清洗日志：一是通过机器学习算法，二是人为根据网站的特点去添加规则进行清洗。通常，机器学习模型是为了做一个“通用”的分析装置，以期望通过机器学习算法来尽可能避免人工干预，但在实际的复杂场景中，机器学习的明显缺点就是容易产生误报和漏报，比如有时会出现扫描器请求多于人类正常访问，这种情况就很可能引起机器学习的误判。

而根据网站本身的结构去制定一些分析规则(比如网站有哪些页面)，虽然一定程度上可以保证精准度，但需要投入很多人力成本去制定这些规则。网站若非自主开发，那要了解网站本身结构也很困难(需要先通过阅读源码、逆向等方式去了解网站整体的架构)。

正则表达式：被用来检索、替换那些符合某个模式(规则)的文本。

SQL注入：通过控制SQL语句的字符串，可让数据库执行了预期以外的SQL语句。

XSS：跨站脚本攻击，Web页面输出的脚本代码可被控制，导致黑客可以构造恶意的代码。

发明内容

本发明所要解决的技术问题是提供一种结合爬虫的日志分析方法，在分析单个网站的海量日志时，能够提高分析的准确性，同时也减少人力投入的成本。

为解决上述技术问题，本发明采用的技术方案是：

一种结合爬虫的日志分析方法，包括以下步骤：

步骤1：对指定的网站进行可正常访问的链接爬取，将整个网站的结构记录下来；

步骤2：将步骤1中爬取的结果存入数据库中；

步骤3：依据数据库中爬虫爬取的URL列表对Web日志进行筛选；即：1)从数据库中将爬取的轨迹URL列表加载到内存中，2)对Web日志进行逐行处理，对每一行日志都从中提取出URL，然后判断该URL是否存在于爬取的列表中，如果存在于列表中，则该访问是正常访问，否则将该行判断为异常日志；

步骤4：将各种异常日志自动标记出它的攻击类型，再将这些攻击日志进一步细化分析，包括通过特征区分攻击成功或者攻击不成功的Webshell，最后将分析结果进行UI(User Interface，用户界面)展示、高危的进行告警、辅助人工分析。

进一步的，所述步骤3中，判断该URL是否存在于爬取的列表中，其采用的方法包括绝对字符串匹配、字符串相似度匹配。

进一步的，所述步骤4中，将各种异常日志自动标记出它的攻击类型，其标记攻击类型的方式是使用规则匹配，此规则是人工预先定义好的正则表达式。

与现有技术相比，本发明的有益效果是：通过模拟人的正常访问行为，将访问页面记录下来后对日志进行筛选，精准筛选出异常访问日志，能够从日志中识别出黑客留下的Webshell、被黑的页面、恶意的广告页面、扫描器的扫描请求等等。模拟人的访问，指的是网站页面中的链接都是可以通过正常点击来访问，爬虫所做的工作就是记录下这些链接；而日志中的访问记录中如果不存在于这些链接列表中，可认为是通过非正常手段来访问的。

附图说明

图1是本发明一种结合爬虫的日志分析方法流程示意图。

具体实施方式

下面结合附图和具体实施方式对本发明作进一步详细的说明。

本发明通过使用Web爬虫预先模拟正常方可访问的行为，去爬取网站整体可正常访问的链接列表，然后再根据这些列表进行自动化日志分析，以达到分析单个网站的日志时既节省人力投入，又能提高分析精准度的目的。详述如下：

步骤一：对指定的网站进行可正常访问的链接爬取

一个正常的访客访问某一个网站时，他的浏览器会发送相应的请求去加载网页中的图片、样式文件、视频等，并且能访问的绝大多数页面都已存在于页面中的超链接中。本步骤的目的就是模拟正常访客去“深入”访问要被分析的网站。整个过程中，爬虫会不断访问每一个页面，并抓取每个页面能访问的链接、图片、视频、能下载的文件链接等等，最终将整个网站的结构记录下来。

步骤二：将爬取的结果存入数据库中

步骤一中所记录的访问轨迹会存储到内置的数据库中，以便于后续异常日志过滤过程加载使用。

步骤三：以网站的Web日志作为输入数据，依据爬虫爬取的URL列表对Web日志筛选，具体实施以下步骤：

1、从数据库中将爬取的轨迹URL列表加载到内存中；