[发明专利]基于多源安全检测框架的机器学习场景检测方法及系统

说明书

本申请公开了一种基于多源安全检测框架的机器学习场景检测方法及系统，本申请的方法包括根据安全威胁的特征从多源安全检测框架中选取基于关系代数的基础算子以及机器学习算子，所述多源安全检测模型为利用预定义的检测算子组合得到检测策略以对各种来源数据进行安全检测的统一检测框架；根据关系代数的基础算子以及机器学习算子构建检测策略；基于检测策略进行机器学习场景的安全威胁检测。本申请是为了提供一种基于多源安全检测框架的机器学习场景检测方法及系统，以提供一种能支持各种数据来源、并且可以使用户更容易的定义一些检测策略规则的统一的安全检测框架，并基于该种安全检测框架更高效的进行安全检测。

技术领域

本申请涉及安全检测技术领域，具体而言，涉及一种基于多源安全检测框架的机器学习场景检测方法及系统。

背景技术

随着信息技术的不断发展，信息安全问题也日益突出。传统的信息安全检测所使用的产品、检测策略一般都是较为分散且使用困难，而且伴随黑客技术的愈发成熟，各类黑客工具的使用也是极为广泛，其中一些工具也能在如Github等开源社区平台上轻易获得，例如Empire、gh0stRAT(一个远程控制框架)等，而且诸如Sqlmap、Acunetix扫描器、MSF(Metasploit)一些渗透测试工具也被广泛使用，虽然各类安全产品如下一代防火墙、入侵检测系统、防病毒系统、端点检测响应(EndpointDetectionResponse，简称EDR)等产品都能或多或少地检测到一些安全问题，但对于无明显特征的网络活动或主机活动则无能为力，即对于一些未知威胁的检测可能存在比较大的局限性，因为它们不会覆盖一些看似正常的网络访问或主机操作，故一般企业单位会部署诸如态势感知产品、安全管理产品或下一代安全事件管理系统(NG-SIEMS)会收集一般的主机日志、网络访问日志(包括各类NAT日志)、安全报警等进行集中的检测和分析，以期从这些日志和报警中能发现一些在单一安全设备的报警中无法发现的问题。

与传统的安全事件管理系统不同，因为集成了一些蜜罐、网络流量探针、端点检测响应等子系统，所以一般而言安全态势感知、安全管理平台或下一代安全事件管理系统等此类产品本身具备一定的安全问题发现以及处置能力，但它们核心的功能主要是集中对收集的相关日志、安全报警进行集中地、广泛地和深入地分析，从而能检测到一些单点安全设备所无法发现的问题；而且，通过嵌入一些人工智能/机器学习手段或方法，配合传统的基于特征和简单统计等方法可以发现安全方面的蛛丝马迹，当然这些安全问题不仅指一般意义上的黑客入侵事件，可能还包含了诸如账号冒用、敏感数据泄漏、数据大量获取(存在离职倾向的员工等)等用户行为异常问题，故与传统安全相较，此类问题不是一般安全设备能够直接检测到的。

通过上述分析，可以看出对于现代的安全态势感知、安全管理产品或下一代安全事件管理系统等集中安全管理平台而言，就其检测和分析手段，不仅需要集成基于一般特征的规则(一般它们叫做关联规则，但与一般意义上的关联规则不同，如Apriori等)，而且需要包含能支持人工智能/机器学习的规则或策略。而Spark或Flink等相关开源框架可以提供相关支撑，但是这些框架存在如下问题：

其一是它们是由Java开发的，而客户对于安全的投入较少，不太可能提供大量硬件以支撑它们的运行(相较于数据量而言；如果提供比较全面的分析，仅一台Windows主机每日输出的日志数量就可能达到上千万)；

其二是它们本身在提供分析语义上就存在不甚统一的问题，很难将基于特征、基于状态机分析、基于机器学习等方法完整统一，用户很难自定义一些策略规则；

其三是即使使用了一些机器学习技术来分析安全问题，也存在可视化和追溯困难(主要因为使用二维图、三维图等来展示高维数据，本身就难以理解和解释，即便使用了如主成分分析/等距线性嵌入方法)。

因此，亟需提供一种能支持各种数据来源，即不限于主机日志、网络设备日志、安全设备报警、网络传输流量、安全漏洞信息以及其它脆弱性信息的统一的安全检测框架，并且还可以使用户更容易的定义一些检测策略规则，以解决上述现有框架存在的问题。

发明内容