[发明专利]分布式特征收集与关联引擎的方法与系统

说明书

提供了分布式的特征收集和关联引擎。特征收集包括：获取一个或多个数据记录；基于领域知识从所述一个或多个数据记录抽取信息；将所述抽取的信息转换为包括键K和值V的键/值对，其中所述键包括特征标识符；以及如果所述键/值对尚未存在于使用去重机制的特征存储数据库中，则在所述特征存储数据库中存储所述键/值对。从数据记录中抽取的特征能够通过获取包括所述抽取的特征的特征存储数据库来查询，所述抽取的特征存储为包括键K和值V的键/值对，其中所述键包括特征标识符；接收包括至少一个查询键的查询；从所述特征存储数据库中检索匹配所述查询键的值；返回一个或多个检索到的键/值对。

技术领域

本发明一般性地涉及了电气、电子及计算机技术，更为特别的是涉及了获取以及处理数据的技术。

背景技术

很多企业面临着转向复杂和演变中的网络安全威胁的挑战。攻击者越来越多的使用秘密的攻击技术来帮助隐藏它们的外表，或至少减少被检测到的可能性，例如，通过跨多个机器隐藏他们的攻击步骤，以及使用不同的应用协议，或者在长时间期间分布他们的行为。许多这样的威胁被称为高级持续性威胁(APT)。

检测和调查这样的复杂攻击模式需要收集、存储、以及分析来自各种薄弱点、不同数据源和多个抽象层的事件。经常以每秒数千事件的速率输出的监测数据，需要被收集、存储以及可提供用于实时分析和历史分析。由于这样的负担以及各种各样的相关数据类型和不同的收集延迟，网络安全调查已经成为重要的数据问题。许多收集的事件只有当他们被放入到经过可能的大时间窗口(例如几个星期或几个月)的跨不同数据源的上下文中，以形成网络中正在进行的和过去行为的全貌(big picture)并过滤掉错误警报或具有很小或没有影响的异常时，才会变得有意义。

对这种安全事件的及时响应，需要近乎实时的数据分析，而调查则需要访问跨大时间窗口的历史数据。然而，现有的方案用相对小的时间窗口实时处理数据或者历史数据并且需要顺序访问所存储的数据。输入/输出(IO)的限制变成了主要因素，现有方案通过在大的机器集群上分散IO来解决此问题，而这会增加建立和重组合数据的成本。

存在对用来获取和处理原始数据的技术改进的需求。对于数据处理系统，还存进一步需求从而允许：(i)基本上实时的数据分析以提供对事件的及时响应；以及(ii)访问跨大的时间窗口的历史数据以允许调查。

发明内容

一般的，提供了用于分布式特征收集和关联的方法及装置。根据该发明的一个方面，特征抽取数据处理方法包括步骤：获取一个或多个数据记录；基于领域知识从所述一个或多个数据记录抽取信息；将所述抽取的信息转换为包括键K和值V的键/值对，其中所述键包括特征标识符；以及如果所述键/值对尚未存在于使用去重机制的特征存储数据库中，则在所述特征存储数据库中存储所述键/值对。

.根据本发明的一个方面，用于查询从一个或多个数据记录中抽取的一个或多个特征的方法包括步骤：获取包括所述抽取的特征的特征存储数据库，所述抽取的特征存储为包括键K和值V的键/值对，其中所述键包括特征标识符；接收包括至少一个查询键的查询；从所述特征存储数据库中检索匹配所述查询键的值；返回一个或多个检索到的键/值对。

通过参考下列详细的描述以及附图，将会获得对本发明、以及进一步的特征和本发明的优势的更为全面的理解。

附图说明

图1是示例性的采用了本发明各个方面的特征收集和关联引擎(FCCE)系统100的框图；

图2是描述了采用本发明各个方面的特征抽取器的示范性实现的流程图；

图3A和图3B是描述了采用本发明各个方面的特征收集器的示范性实施方式的流程图；

图4A示出了采用本发明各个方面的示范性的特征存储器；

图4B是描述了采用本发明各个方面的写过程示范性实现的流程图；