[发明专利]一种基于知识图谱的web日志异常行为识别方法

说明书

为提高对网络DNS服务器日志分析的能力，本发明综合多种技术，创新性的提出了构建面向域名解析系统的知识图谱。首先，应用域名解析、权威域名服务器、别名解析、自治系统等原理设计了基于aiohttp和dig技术相结合的自动化爬虫模型，构建了相应的领域知识库；其次基于该知识库设计了面向域名解析系统的知识图谱原型并完成了知识图谱的构建，其节点规模达近500万；最后，基于该知识图谱辅助完成web日志异常行为识别模型的构建。通过实验和实际应用反馈，该知识图谱在网络服务器日志异常行为检测与分析的过程中起到了关键作用，提高了web日志异常行为模型的识别率。

技术领域

本发明涉及一种基于知识图谱的webi日志异常行为识别方法，属于知识图谱信息利用技术领域。

背景技术

一般来说，源头治理是最好的方法。如何检测异常上网行为，可以从域名解析这个源头入手。域名解析是域名通过专门的域名解析服务器(DNS)转换成IP的过程，每次解析都会产生四大类日志数据，其中包含DNS、URL、IP以及SSL日志。日志中可能充斥着大量的爬虫、端口扫描、暴力域名破解、连接性测试等机器行为，即异常行为。

申请人研究发现，现有技术的异常行为识别工作大多数情况下是研究人员通过利用功能单一、识别行为有限的日志分析工具以及长期工作经验完成的。没有形成一套完整有效的知识体系，很难支撑每个研究人员高效的完成日志分析工作，导致异常行为识别效果不能达到实际业务需求。同时，日志分析也存在POST请求数据不记录问题、状态码响应但不可信、攻击者使用多 IP代理等难点，如果仅仅依赖日志中现有的字段，是无法识别出更多的异常行为日志记录。因此，如何构建一套完整有效的知识体系来提高异常行为的识别率是目前迫切需要解决的问题。

网络DNS服务器日志分析目前是网络信息安全的重要一环。在日志分析方面目前国内外对于网络服务器日志分析的手段主要如下：吉星等人在《基于日志信息的DNS查询异常检测算法》提出了一种基于日志信息的DNS查询异常检测算法，利用聚类分析和计算各源IP的可信度，检测出异常的源IP，但是该方法利用了无监督算法，当数据集越来越大时计算成本会越高；Nadler A等人在《Detection of malicious and low throughput dataexfiltration over the DNS protocol》提出了一种基于DNS检测隧道和低吞吐量数据泄露的方法，通过提取dns日志特征进行分析，来检测恶意软件通过隐蔽通道进行数据泄露的异常行为；Niu W等人在《Identifying APT malware domain based on mobile DNSlogging》提出一种通过分析DNS日志来高精度检测 APT恶意软件CC域的有效方法，该方法通过全局异常森林(GAF)的异常检测算法来识别恶意软件CC域；Chen等人在《Detectionof DNS DDoS attacks with random forest algorithm on spark》提出一个基于Spark平台的随机森林算法模型，用来检测DNS日志中的分布式拒绝服务(DDoS)；宋佳明等在《基于人工智能的网络异常行为分析》提出一种基于Web日志的数据特征建模方法，根据Web日志的HTTP请求字段所具有的隐含统计特征，构造单条HTTP请求特征和攻击类别统计特征，该方法较好提高了web日志的异常行为识别能力；王琪等人在《.基于日志统计特征的DNS隧道检测》提出了一种基于日志统计特征的DNS隧道检测方法，引入缓存命中率等多维统计特征，并基于随机森林算法完成了DNS隧道检测模型的训练；张文琦等在《基于多维时序日志的异常行为可视分析》基于企业日志的多维性和时序性，提出了一种日志可视化的系统，通过设计多个可视化视图，实现一个交互式可视分析系统，提高了决策者发现异常行为的能力；秦辉东等在《.基于多特征的DNS异常检测技术研究》针对DNS源IP异常检测的基于多维时序特征的局部异常因子检测算法，并在此基础上，提出基于多特征的域名异常分析方法，以实现更为精准的DNS异常识别。