[发明专利]一种IoC自动抽取与挖掘方法与系统

说明书

本发明公开了一种IoC自动抽取与挖掘方法，涉及计算机网络安全领域，包括词嵌入层、序列表示层、全连接层，序列表示层包括双向LSTM网络、注意力机制和上下文特征，基于该方法，本发明还公开了IoC自动抽取与挖掘系统，包括文本自动获取模块、非结构化文本预处理模块、攻击指标(IoC)提取模块、IoC数据库和IoC短语匹配库。本发明针对非结构化文本，利用正则匹配和双向长短期记忆网络的组合算法，结合注意力机制和上下文内容特征，进一步提高了IoC提取的准确率和有效率。

技术领域

本发明涉及计算机网络安全领域，尤其涉及一种IoC(攻击指标,Indicator ofCompromise)自动抽取与挖掘方法与系统。

背景技术

近年来，随着网络技术的快速发展，网络上的安全威胁也在增加。网络安全专家和分析师们通过积极地在公共平台上交换威胁情报来跟进对这些威胁的研究和防范。威胁情报是基于证据的知识，它是围绕着现存的或者即将对资产发生威胁和危害的信息，包括了上下文、机制、指标、含义或者以行动为中心的建议。这种情报可用于告知受害对象，让他们能够针对这样的威胁和危害进行决策。这些威胁情报大多为描述性文本包涵了关键信息(例如，僵尸网络IP，恶意软件的签名等)。这些信息通过文章、博文或是白皮书的形式呈现出来。更进一步，这些信息能够被转化成结构化信息，即攻击指标(IoC，Indicator ofCompromise),参照OpenIoC(Open Indicator of Compromise)标准、STIX(StructuredThreat Information Expression)标准等。这有利于计算机进行分析，并且基于此快速开发出应对威胁的方案。

随着计算机应用领域的不断扩大，自然语言处理受到了人们的高度重视。机器翻译、语音识别以及信息检索等应用需求对计算机的自然语言处理能力提出了越来越高的要求。为了使计算机能够处理自然语言，首先需要对自然语言进行建模。自然语言建模方法经历了从基于规则的方法到基于统计方法的转变。

在对统计语言模型进行研究的背景下，Google公司在2013年开放了Word2vec这一款用于训练词向量的软件工具。Word2vec可以根据给定的语料库，通过优化后的训练模型快速有效地将一个词语表达成向量形式。Word2vec依赖skip-grams或连续词袋(CBOW)来建立神经词嵌入。Skip-gram模型是在给出目标单词(中心单词)的情况下，预测它的上下文单词出现的概率。

循环神经网络(Recurrent Neural Network，RNN)在自然语言处理(NaturalLanguage Processing，NLP)的文本处理上取得了很大的成功，但RNN是单向的，是根据前面的信息推出后面的，但有时候只看前面的词是不够的，不仅要看上文，还需要看下文。Bi-LSTM，即双向LSTM(Long Short-Term Memory)，较单向的LSTM，能更好地捕获句子中上下文的信息，从而使得分类效果更佳。

由于海量的非结构化威胁情报在各个平台上由若干专业人士上传，这些信息通常是描述性的语言。由于专业的分析专家精力和时间的限制，这些数量庞大的信息和报告无法被立即获得和分析，获得后也要耗费时间对其可信度进行判断，就延误了对威胁的处理和进一步的应对，如此便可能造成被攻击的潜在目标的损失。

因此，本领域的技术人员致力于开发一种IoC自动抽取与挖掘方法与系统，基于人工智能对IoC进行自动抽取与挖掘。

发明内容

有鉴于现有技术的上述缺陷，本发明所要解决的技术问题是是收集和提取威胁报告文本中的IoC，从而帮助分析员对海量威胁情报进行收集、处理和提取关键信息，提高安全事件分析员的分析效率和对于安全事件的洞察力。

为实现上述目的，本发明提供了一种IoC自动抽取与挖掘方法，包括词嵌入层、序列表示层、全连接层；

词嵌入层将输入词语转换为词向量；