[发明专利]用于危险主机监测的主动机器学习系统

权利要求书

1.一种用于危险主机监测的主动机器学习系统，其特征在于：所述机器学习系统利用SIEM警报信息、各种安全日志和分析师的调查笔记来标记受破坏可能性高的主机；该系统包括数据收集、特征工程、标签产生、机器学习、主动学习分析师见解的反馈算法和实时报警六个部分；所述六个部分顺次衔接，所述数据收集部分收集并整合企业网络中各类与安全相关的信息之后，传递给所述特征工程部分，所述特征工程部分对数据进行标准化处理和特征提取处理后，将提取的特征向量传递给所述机器学习部分作为输入数据，所述标签产生部分通过对安全分析师的调查笔记进行分析挖掘，提取主机的安全状态标签，传送给所述机器学习部分作为学习目标，所述机器学习部分通过运用包括深度信念网络在内的多种机器学习模型，从输入特征中学习得到主机的安全状态信息并对处于风险状态的主机进行标记；所述主动学习分析师见解的反馈算法能够自动地以增量的方式纳入安全分析师新的调查见解，并在此基础上更新机器学习模型；所述实时报警部分根据预先确定的报警策略，对达到报警要求的异常主机和进行报警，供安全处理中心进行安全审计；

数据收集：原始数据有三类：1）、SIEM系统的报警信息；2）、分析师的调查笔记；3）、来自于不同安全防范技术的日志和源数据，安全防范技术包括以下至少一种：防火墙、入侵检测/防御系统，HTTP / FTP / DNS流量、DHCP、漏洞扫描、Windows安全事件、VPN；日志系统每天有TB字节的数据，其中，SIEM系统的报警信息具有下列的关键要素：描述主机ID的主机名称；事件-ID的安全事件；事件的时间戳；事件的严重程度；分析师的调查笔记以自由文本的形式存储；分析师的调查笔记包含说明每个报警是真阳性还是假阳性的信息，利用这类信息来为机器学习的数据集创建标签；

特征工程：特征工程包括两个部分，一部分是从SIEM报警信息和各类日志信息中提取特征，包括数据标准化处理和特征提取两个步骤；另一部分是从安全分析师的分析笔记中提取主机安全状态标记，包括对调查笔记实施自然语言处理、文本挖掘和主机安全标记生成步骤；

这些特征分为以下四类：

总结性特征：这些特征可以从统计汇总信息中生成；

指标特征：这些特征是以二进制0或1的形式表示；

时间特征：这些特征包括时间信息；

关系特征：这些特征来自社会图分析；

标签生成：所述标签生成部分采用自然语言处理和文本挖掘的方法，从自由文本格式的安全分析师调查笔记中生成主机标签；标签是通过对安全分析师的调查笔记进行数据挖掘而得到的，包括但不限于以下内容：

初始背景：事件触发的原因；

内部研究：来自于不同内部系统日志的支持信息；

外部研究：来自于外部资源的IP地址的地理定位和声誉支持信息；

调查结果：事件是否是非恶意的、假阳性的，或者是逐步升级的；

需要利用文本挖掘关键字/主题提取和情感分析技术，来提取主机的实际状态；

机器学习单元：机器学习单元，使用所输入的特征和学习所得的模型对事件进行评分、警报，并为分析师提供潜在的高危险主机列表，以便他们调查主机是否受到损害；机器学习单元使用一个或多个分类器用于学习，这些分类器包括但不限于以下所列：深度信念网络，深度神经网络，随机森林，boosted树，支持向量机和一般线性模型；

主动学习分析师见解的反馈算法：所述主动机器学习系统通过主动学习分析师见解的反馈算法，能够自动地以增量的方式纳入安全分析师新的调查见解，并在此基础上更新机器学习单元，保证机器学习单元能够及时吸收新的数据模式，提高主机状态标注的准确性；

实时报警：所述主动机器学习系统通过实时报警部分，根据预先确定的报警策略，对达到报警要求的异常主机和进行报警，供安全处理中心进行安全审计。

2.根据权利要求1 所述的一种用于危险主机监测的主动机器学习系统，其特征在于：在产生关系特征的方法中采用了主机和事件的加权PageRank图。

3.根据权利要求2所述的一种用于危险主机监测的主动机器学习系统，其特征在于：评分和模型刷新均实时或批量的方式完成，采取相同的更新频率，或采取不同的更新频率。

4.根据权利要求3所述的一种用于危险主机监测的主动机器学习系统，其特征在于，所述系统包括以下步骤：

1）初始化：利用历史的警报数据、日志数据和安全分析师的调查笔记，实施特征工程、标签生成和建立机器学习模型，开始对主机评分并标注危险主机，然后安全分析师们开始对这些被机器学习模型标记为危险主机进行调查研究；

2）正常运行：系统完成初始化后，新的来自于SIEM系统的报警和日志数据就会连续不断地被传送到评分单元，以评估主机的风险，如果认为该主机具有足够高的风险，则对其进行风险标注，安全分析师在调查后会产生新的调查笔记；

3）主动学习和系统更新：在系统正常运行期间，新增加的警报数据、日志数据和安全分析笔记被连续发送到数据收集单元，在数据收集单元，这些新增的数据将与历史数据实现融合，然后利用这些融合后的数据，实施特征、标签更新，以及对机器学习模型实施更新优化；

4）循环运行：利用更新后的特征、标签和学习模型，执行步骤2），实现危险主机的准确检测。