[发明专利]一种利用服务器日志进行端口扫描检测的方法和系统

说明书

本发明公开了一种利用服务器日志进行端口扫描检测的方法和系统，包括特征提取步骤和端口扫描检测步骤；首先收集服务器集群上的访问日志，然后进行特征提取构建描述访问IP行为的聚合记录，最后根据正样本数目用规则或者聚类的方法判断是否发生端口扫描，同时将检测结果反馈给管理员和正样本数据库，进一步提升方法的准确性。本发明充分考虑了运维安全审计管理人员的实际需求，可实施性强、适用性强。

技术领域

本发明涉及日志分析、日志挖掘和端口扫描检测技术，特别是涉及一种从端口访问日志提取信息判断端口扫描的技术。

背景技术

目前，随着计算机及网络技术的发展，计算机系统和互联网开始越来越多的应用到不同行业。很多企业用计算机系统存储和管理重要的信息，借助互联网来运营自己的业务，比如一些电商平台搭建服务器集群来管理客户的信息和处理订单。同时，针对计算机系统的攻击也越来越频繁并且攻击手段趋于多样化，因此需要找到一些更好的措施来防止计算机及网络系统被攻击。

对于攻击者而言，向目标网络发起端口扫描，发现服务器提供的服务及其漏洞是入侵的第一步。因此能够提前检测出端口扫描行为对防止服务器被入侵是至关重要的。对于目前服务器的防御手段，服务器的管理员通过配置防火墙通行规则、部署入侵检测系统(IDS)或者入侵防御系统(IPS)来发现具有扫描行为的IP，并对其采取告警、阻塞或者封禁等措施。但是就目前而言，完全依赖防御系统检测面临着检测不准确和误报的问题，在实际应用过程中常常需要管理员分析服务器的访问日志并结合业务开展情况对防御系统做出调整，比如增加新的过滤规则、放宽对某个IP的预警等。然而服务器的访问日志往往存在海量数据记录，而且管理员通常需要管理不止一台服务器，这进一步增加了人工分析的困难。服务器的访问日志一般具有这样的特点：大量不具有分析价值的记录，包括无效字段，冗余记录，虚假预警；少量可疑记录，比如新出现的访问IP或者以往出现过但是突然具有明显异常访问行为的IP。

发明内容

发明目的：鉴于目前服务器防御出现的问题，即关于服务器的防御依赖防御系统和管理员的协作，管理员面临着分析海量数据日志的困难，而已有的基于统计数据包的数目来判断端口扫描的方法存在检测精度不高的问题。提供一种能够从服务器原始的访问日志中提取访问记录并且判断访问记录是否是端口扫描的技术，该技术具备从原始访问记录构建精简记录、将具有异常访问行为的记录呈现给管理员的特点，同时为了管理员进一步诊断，构建的精简记录方便管理员理解和容易进一步追溯它发生前后的相关记录。具体来说，对访问IP和服务器IP这样的IP对进行汇总，将每一对IP对下面的访问记录按照某个聚合粒度进行聚合和划分，得到该IP对的访问行为历史的聚合记录，根据已有的正样本数目采样利用规则方法或者聚类方法来判断记录是否是一次扫描，对判断为正常的聚合记录添加到正样本数据库中，用于与新来的记录进行相似度的评估；对判断为异常的记录交由管理员分析，管理员可以从正样本库调出该记录之前访问行为历史进行分析判断。本发明提出的方法能够极大减小管理员分析日志的负担，同时随着正样本数据库的扩大，该方法对端口扫描的检测准确度能进一步上升。

技术方案：一种利用服务器日志进行端口扫描检测的方法，包括特征提取和端口扫描检测步骤。

所述特征提取的步骤具体为：

步骤100，收集和汇总服务器集群上的端口访问日志。

步骤101，读取汇总的端口访问日志，对其中的每条访问记录提取访问IP、服务器IP、访问发生的时刻、访问IP的属地和访问端口等字段信息，得到访问记录的一个精简描述。

步骤102，统计所有重复的精简描述计算其出现的频数信息，将所有重复的精简描述压缩为一条精简描述和其出现的频数。

步骤103，以访问IP和服务器IP为键，一个访问IP和一个服务器IP为一个IP对，汇总包含所述IP对的全部记录。