[发明专利]一种从非结构化数据中提取网络安全新词的方法

说明书

地下黑客社区作为黑客的在线社交平台，是黑客们进行交流和传播黑客技术和工具的重要场所。在这些社区中，许多最新的信息直接或间接影响网络攻击，从而威胁到企业或个人的资产。因此，诸如黑客论坛之类的社交媒体对网络安全领域具有重大影响。而从黑客社区（例如新兴的黑客团体和黑客工具）自动识别相关词和新词的成功率较低。本发明基于自然语言处理技术，通过对词汇本身的特征提取以及上下文进行分析，提出了一种从非结构化数据中提取网络安全新词的方法。该方法结合词性、单词特征、字符特征以及词汇相似度，利用卷积神经网络提取单词中的字符特征，使用双向长短期记忆神经网络构成框架，并结合词库和谷歌趋势综合判断以提取新词。

技术领域

本发明涉及网络信息安全、大数据技术等领域，针对网络安全领域的新词提取方法，提出了一种基于深度学习的从非结构化数据中提取网络安全新词提取的方法。通过一维卷积神经网络的到词汇的字符特征，并对语句中的每一个词汇的词性特征、词向量、词汇特征、字符特征进行拼接，然后利用双向长短期记忆神经网络进行模型的构建，实现对黑客工具、组织名、用户名的检测。并将检测出的相关词汇与词库中的词汇进行比较，同时结合谷歌趋势进行判断，最终判断并提取出网络安全新词。

背景技术

随着互联网的飞速发展，网络安全形势日益复杂。作为网络攻击的参与者，黑客在网络安全中扮演着重要角色。作为黑客交流，传播黑客知识和交换工具的平台之一，黑客社区是网络罪犯传播恶意软件变种和黑客工具的市场。通常，在网络攻击发生之前，黑客组织很可能会在黑客社区中提出有关攻击的信息，并且通常会涉及相关的黑客工具，并且在黑客社区的相关文章中都会对工具进行描述。因此，攻击的踪迹或意图通常会出现在某些黑客沈河区中。及时发现工具、组织、用户名等新词，可以及时预警网络攻击。

地下黑客论坛中的数据对威胁情报、社交网络的分析以及黑话的检测都有着重要的意义。网络安全新词的出现是频繁的，而人工审查非常耗时耗力，并且漏报率较高，通常在这类词汇被人们广泛使用时才被大多数人所了解，目前从黑客社区的非结构化数据中自动识别相关词汇和新词的成功率较低，需要不断地实时监控相关平台中的内容。

目前，机器学习、自然语言处理等技术已经广泛应用于网络安全领域。通常对于新词的发现都会结合词频进行判断，然而在词汇刚出现、词频较低时却无法进行检测，从而信息的延迟为网络攻击的预警产生了一定的困难。利用词汇本身的特征以及所处上下文环境，并利用深度学习的方法可以检测出需要识别的某一类词汇，并且结合谷歌趋势进行综合判断，最终判断出新词。

本文基于上述思路，提出了一种从非结构化数据中提取网络安全新词的方法，以从文本内容中及时提取出相关网络安全新词。

发明内容

为了及时从非结构化文本内容中提取出网络安全新词，本发明提出了一种利用自然语言处理技术从非结构化数据中提取出网络安全新词的方法。其中首先需要构建黑客组织、用户名以及黑客工具的词库，这些数据来自于提供黑客工具的网站以及黑客论坛。从词汇、字符特征、词特征、词性四个维度对词汇进行表示并进行拼接，得到非结构化文本中词表示的向量。然后利用构造的特征向量根据建立好的模型进行序列标注，进而识别相关词汇，并综合利用谷歌趋势判断新词。该方法主要包括了数据收集模块、数据处理模块、模型构建模块和新词判决模块。

数据收集模块：收集地下黑客社区中的非结构化文本数据以及黑客组织名、用户名、工具名，作为原始语料库以及词库，得到训练数据。

数据处理模块：将上述模块中的文本数据进行处理，去除非ASCII字符，进行词形还原。然后对非结构化文本中的句子进行分词，利用Glove词向量得到每一个词的词向量，利用StanFordNLP得到每一个词的词性向量，利用一维卷积神经网络得到每一个词的字符特征向量，构建词汇信息特征表，并且表示每一个词的词特征向量。拼接上述四种向量，构建特征向量。