[发明专利]用于危险主机监测的主动机器学习系统

说明书

本发明公开了一种用于危险主机监测的主动机器学习系统。所述主动机器学习系统利用SIEM警报信息、各种安全日志和分析师的调查笔记来标记受破坏可能性高的主机。该系统包括数据收集、特征工程、标签产生、机器学习、主动学习分析师见解的反馈算法和实时报警等部分；采用自然语言处理、文本挖掘和基于图形的方法，为机器学习生成目标和创建特征；机器学习单元采用深度信念网络、多层深度神经网络、随机森林、支持向量机和Logistic回归等机器学习机制。通过本系统可以准确检测网络中的危险主机，大幅降低虚警率，兼顾了主机安全检测需求与SOC实际审查能力，使得重要的安全事件得到及时处理，在提高网络安全监测能力的同时，降低了人力成本。

技术领域

本发明属于网络安全和机器学习技术领域，具体涉及一种用于危险主机检测的主动机器学习系统。

背景技术

随着计算机网络特别是因特网的普及应用，网络已经成为人们生产和生活所依赖的重要基础设施。如此同时，网络安全的重要性也日益凸显，现如今网络安全已经成为决定网络应用范围能否极大拓展和网络应用价值能否极大地发挥的关键。

网络安全事件，特别是数据泄露，将对企业造成重大的财务和声誉影响。2015年，IBM和Ponemon研究所针对62家公司开展了数据泄露给公司造成损失的研究工作，结果显示，数据泄露给62家公司造成的平均损失是650万美元。为了检测恶意行为，企业和/或政府都建立了SIEM(Security Information and Event Management，安全信息和事件管理)系统。SIEM系统对于从端点、防火墙、入侵检测系统、DNS、DHCP、Windows事件日志、VPN日志等途径获取的事件日志信息进行标准化处理和关联分析，安全操作中心(Securityoperation center，SOC)团队根据分析师的经验以一个预先确定的严重性程度来开发安全事件用例。安全事件用例通常是基于规则的，这些规则涉及一到两个指标。这些规则可以是基于网络/主机或基于时间/频率。以下是一些规则示例：

●检测到多个恶意软件感染，并且端点保护软件不能清除这些恶意软件；

●对相同的PCI资产登录尝试失败超过一定数量；

●检测到进出已知恶意软件网站的流量；

●在预先指定的时间窗口内，来自PCI服务器的拒绝防火墙事件达到一定数量。

如果任何事件触发一个或多个安全事件用例，SIEM将及时报警。然后SOC团队的分析师将调查报警信息，以决定报警涉及的主机是危险的(真阳性)或不危险(假阳性)。然而，SIEM通常产生大量的警报，但有很高的假阳性率，即产生很多虚警。每天警报的数量能达到几十万条，远远超过SOC的调查能力，以至于SOC根本无力对这些警报进行全面调查。正因为如此，SOC往往只调查高严重性的警报或抑制相同类型的警报。这样可能会错过一些严重的攻击。因此，需要更加智能化、自动化的系统来识别风险主机。

机器学习模型已应用于异常检测和入侵检测。有文献对九种分类器(贝叶斯网络，logistic回归，随机森林等)在恶意流量检测中的性能进行了比较。有文献引入模糊聚类以降低误报率。有文献将k- 均值聚类用于可扩展的无监督入侵检测。有一类入侵行为是通过用户正常使用的数据来构建用户仿形(或称特征)，进而利用该用户仿形对系统实施入侵，有文献报导可以采用如隐马尔科夫(Hidden Markov)模型之类的动态行为模型来检测这类入侵行为。

李等人提出了一种基于决策树的在线支持向量机，利用这种在线支持向量机，能够基于网络流量行为对主机角色进行分类。昌德等人将SVM与其他九种机器学习模型结合使用，以便在入侵检测方面获得更好的性能。有的文献提出了一种整合SVM、决策树和朴素贝叶斯方法的混合模型。有文献提出了用于网络异常检测的增强型支持向量机。孟在文献中，对不同的机器学习模型，包括人工神经网络、SVM 和决策树在用于网络异常入侵检测时的性能进行了比较。席尔瓦等人利用神经网络和SVM自动检测和过滤那些传播网络垃圾的主机。