[发明专利]基于深度神经网络的网络安全关键词抽取方法

权利要求书

1.一种基于深度神经网络的网络安全关键词抽取方法，包括如下步骤：

S1.采集网络安全文本数据集；具体为采用爬虫技术采集网络安全文本数据集，具体包括如下步骤：

A.对安全文本数据集进行定义；

B.采用爬虫技术采集网络安全文本数据集；

C.对步骤B采集的网络安全文本数据集进行数据清理，从而得到最终的清理后的网络安全文本数据集；

S2.构建深度神经网络；具体为采用如下步骤构建深度神经网络：

a.采用此词向量训练模型，将步骤S1获取的网络安全文本数据集转换为词向量序列；

b.采用BiLSTM神经网络结构，对步骤a得到的词向量序列进行处理，从而得到每个字符在神经网络中各个标签类别的概率；

c.对步骤b得到的每个字符在神经网络中各个标签类别的概率进行归一化处理，从而得到最终的每个字符的标签类别；具体为采用条件随机场作为标签分类层，对步骤b得到的每个字符在神经网络中各个标签类别的概率进行归一化处理，从而得到最终的每个字符的标签类别；

S3.采用步骤S2构建的深度神经网络，对步骤S1获取的网络安全文本数据集进行训练，得到训练后的深度神经网络模型；具体为采用如下步骤进行训练：

(1)对网络安全实体的类别进行定义；

(2)对网络安全命名实体的标注方式进行定义；

(3)对训练集进行标注；

(4)将步骤(3)得到的标注后的训练集输入步骤S2得到深度神经网络模型进行特征学习；

S4.采用步骤S3得到的训练后的深度神经网络模型，对分词系统词库进行扩展；具体为采用如下步骤进行扩展：

1)将文本输入步骤S3得到的训练后的深度神经网络模型，从而得到文本中的实体类别标签分类；

2)根据步骤1)中的实体类别标签分类结果，对文本中的实体进行自动分类和组合，从而得到文本中所用的网络安全实体集合；

3)将步骤2)得到的网络安全实体集合作为结巴分词的扩充词典，并通过结巴分词的分词函数对文本进行分词，从而得到最终的分词后的文本集合；

S5.根据词语的位置特性和词性，对分词之后的文本集合进行文本关键词的抽取，从而得到最终的网络安全关键词抽取结果；具体为采用如下步骤进行抽取：

Ⅰ.采用如下算式计算每篇文本中每个词语的TF频数tf_ij：

式中tf_ij为第i篇文本的第j个词语频数表示；n_i,j为第i篇文本的第j个词语在第i篇文本中出现的次数；n_k,j为第i篇文本中的第k个词语出现的次数；k为第i篇文本中的第k个词语；

Ⅱ.采用如下算式计算每个词语的IDF逆文档频率idf_ij：

式中idf_ij为第i篇文本的第j个词语逆文档频率；w_i,j为第i篇文本的第j个词语在第i篇文本中出现的次数；s_i,j为第i篇文本的第j个词语全文文本中出现的次数；

Ⅲ.采用如下算式计算每个词语的权重v：

式中v为词语的权重比值；α为词语在标题中的时候的权重比值，本文取1.3；β为词语属于网络安全实体时的权重取值，本文取1.5；

Ⅳ.采用如下算式计算每个词语的TF-IDF权值tfidf_ij：

tfidf_ij＝tf_ij*idf_ij*v

式中tfidf_ij为每个词语的权重；tf_ij为每个词语的TF频数；idf_ij为每个词语的IDF逆文档频率；v为词语的权重比值；

Ⅴ.根据步骤Ⅳ得到的权值，获取文本中每个词的权重排序，从而得到每篇文本中前若干个关键词集合。