[发明专利]用于危险主机监测的主动机器学习系统

摘要

本发明公开了一种用于危险主机监测的主动机器学习系统。所述主动机器学习系统利用SIEM警报信息、各种安全日志和分析师的调查笔记来标记受破坏可能性高的主机。该系统包括数据收集、特征工程、标签产生、机器学习、主动学习分析师见解的反馈算法和实时报警等部分；采用自然语言处理、文本挖掘和基于图形的方法，为机器学习生成目标和创建特征；机器学习单元采用深度信念网络、多层深度神经网络、随机森林、支持向量机和Logistic回归等机器学习机制。通过本系统可以准确检测网络中的危险主机，大幅降低虚警率，兼顾了主机安全检测需求与SOC实际审查能力，使得重要的安全事件得到及时处理，在提高网络安全监测能力的同时，降低了人力成本。

主权项

1.一种用于危险主机监测的主动机器学习系统，其特征在于：所述机器学习系统利用SIEM警报信息、各种安全日志和分析师的调查笔记来标记受破坏可能性高的主机；该系统包括数据收集、特征工程、标签产生、机器学习、主动学习分析师见解的反馈算法和实时报警六个部分；所述六个部分顺次衔接，所述数据收集部分收集并整合企业网络中各类与安全相关的信息之后，传递给所述特征工程部分，所述特征工程部分对数据进行标准化处理和特征提取处理后，将提取的特征向量传递给所述机器学习部分作为输入数据，所述标签产生部分通过对安全分析师的调查笔记进行分析挖掘，提取主机的安全状态标签，传送给所述机器学习部分作为学习目标，所述机器学习部分通过运用包括深度信念网络在内的多种机器学习模型，从输入特征中学习得到主机的安全状态信息并对处于风险状态的主机进行标记；所述主动学习分析师见解的反馈算法能够自动地以增量的方式纳入安全分析师新的调查见解，并在此基础上更新机器学习模型；所述实时报警部分根据预先确定的报警策略，对达到报警要求的异常主机和进行报警，供安全处理中心进行安全审计；数据收集：原始数据有三类：1）、SIEM系统的报警信息；2）、分析师的调查笔记；3）、来自于不同安全防范技术的日志和源数据，安全防范技术包括以下至少一种：防火墙、入侵检测/防御系统，HTTP / FTP / DNS流量、DHCP、漏洞扫描、Windows安全事件、VPN；日志系统每天有TB字节的数据，其中，SIEM系统的报警信息具有下列的关键要素：描述主机ID的主机名称；事件‑ID的安全事件；事件的时间戳；事件的严重程度；分析师的调查笔记以自由文本的形式存储；分析师的调查笔记包含说明每个报警是真阳性还是假阳性的信息，利用这类信息来为机器学习的数据集创建标签；特征工程：特征工程包括两个部分，一部分是从SIEM报警信息和各类日志信息中提取特征，包括数据标准化处理和特征提取两个步骤；另一部分是从安全分析师的分析笔记中提取主机安全状态标记，包括对调查笔记实施自然语言处理、文本挖掘和主机安全标记生成步骤；这些特征分为以下四类：总结性特征：这些特征可以从统计汇总信息中生成；指标特征：这些特征是以二进制0或1的形式表示；时间特征：这些特征包括时间信息；关系特征：这些特征来自社会图分析；标签生成：所述标签生成部分采用自然语言处理和文本挖掘的方法，从自由文本格式的安全分析师调查笔记中生成主机标签；标签是通过对安全分析师的调查笔记进行数据挖掘而得到的，包括但不限于以下内容：初始背景：事件触发的原因；内部研究：来自于不同内部系统日志的支持信息；外部研究：来自于外部资源的IP地址的地理定位和声誉支持信息；调查结果：事件是否是非恶意的、假阳性的，或者是逐步升级的；需要利用文本挖掘关键字/主题提取和情感分析技术，来提取主机的实际状态；机器学习单元：机器学习单元，使用所输入的特征和学习所得的模型对事件进行评分、警报，并为分析师提供潜在的高危险主机列表，以便他们调查主机是否受到损害；机器学习单元使用一个或多个分类器用于学习，这些分类器包括但不限于以下所列：深度信念网络，深度神经网络，随机森林，boosted树，支持向量机和一般线性模型；主动学习分析师见解的反馈算法：所述主动机器学习系统通过主动学习分析师见解的反馈算法，能够自动地以增量的方式纳入安全分析师新的调查见解，并在此基础上更新机器学习单元，保证机器学习单元能够及时吸收新的数据模式，提高主机状态标注的准确性；实时报警：所述主动机器学习系统通过实时报警部分，根据预先确定的报警策略，对达到报警要求的异常主机和进行报警，供安全处理中心进行安全审计。