[发明专利]一种结合爬虫的日志分析方法在审
| 申请号： | 201710791558.X | 申请日： | 2017-09-05 |
| 公开（公告）号： | CN107590227A | 公开（公告）日： | 2018-01-16 |
| 发明（设计）人： | 卢西 | 申请（专利权）人： | 成都知道创宇信息技术有限公司 |
| 主分类号： | G06F17/30 | 分类号： | G06F17/30;H04L29/06 |
| 代理公司： | 成都信博专利代理有限责任公司51200 | 代理人： | 张辉 |
| 地址： | 610000 四川省成*** | 国省代码： | 四川;51 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明提供了一种结合爬虫的日志分析方法，包括以下步骤步骤1对指定的网站进行可正常访问的链接爬取，将整个网站的结构记录下来；步骤2将爬取的结果存入数据库中；步骤3依据数据库中爬虫爬取的URL列表对Web日志进行筛选；步骤4将各种异常日志自动标记出它的攻击类型，再将这些攻击日志进一步细化分析，包括通过特征区分攻击成功或者攻击不成功的Webshell，最后将分析结果进行UI展示等等。本发明在分析单个网站的海量日志时，能够提高分析的准确性，同时也减少人力投入的成本。 | ||
| 搜索关键词： | 一种 结合 爬虫 日志 分析 方法 | ||
【主权项】：
一种结合爬虫的日志分析方法，其特征在于，包括以下步骤：步骤1：对指定的网站进行可正常访问的链接爬取，将整个网站的结构记录下来；步骤2：将步骤1中爬取的结果存入数据库中；步骤3：依据数据库中爬虫爬取的URL列表对Web日志进行筛选；即：1)从数据库中将爬取的轨迹URL列表加载到内存中，2)对Web日志进行逐行处理，对每一行日志都从中提取出URL，然后判断该URL是否存在于爬取的列表中，如果存在于列表中，则该访问是正常访问，否则将该行判断为异常日志；步骤4：将各种异常日志自动标记出它的攻击类型，再将这些攻击日志进一步细化分析，包括通过特征区分攻击成功或者攻击不成功的Webshell，最后将分析结果进行UI展示、高危的进行告警、辅助人工分析。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于成都知道创宇信息技术有限公司，未经成都知道创宇信息技术有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710791558.X/，转载请声明来源钻瓜专利网。
- 上一篇：一种安全网罩焊接固定架
- 下一篇：一种效率高的弹簧生产设备
