[发明专利]一种基于NER与复杂网络特征的新闻关键词提取方法

权利要求书

1.一种基于NER与复杂网络特征的新闻关键词提取方法，其特征在于，包括以下步骤：

步骤1：收集新闻内容，将新闻内容生成原始语料 文件夹下文件列表，设置过滤阈值，字符数小于过滤阈值的内容被过滤掉，对于每个语料，正则匹配出url和content；所有的新闻内容将按照url中的类别分别保存在各个txt文件中；

步骤2：对各个txt文件中的内容进行分词，使用结巴分词去停用词；

步骤3：利用基于神经网络的命名实体识别方法对句子进行标注，而后进行日期识别，人名识别以及地名识别，提取出文本中重要的命名实体；

步骤4：构建词语复杂网络；将步骤3得到的词语进行数字编码，将编码结果作为节点，使用距离2作为词语关联关系的距离，即距离在2以内的词语之间有连边，对每个句子循环判断；

V＝{v₁,v₂…v_n}为一有N个节点的集合，(v_i,v_j)表示节点v_i∈V与v_j∈V之间的边，G(V,E)是以V为节点集合，以为边集合的图，节点v_i的度中心性DC_i为：

其中，k_i为节点的度，即与其相连的节点的个数，N为网络中节点的个数；

计算一个节点v_i到网络中所有节点的距离的平均值，记为d_i，即有：

其中，d_ij是节点v_i到节点v_j的距离，网络中，所有节点间的距离平均值L用下面的公式进行计算：

将d_i的倒数定义为节点v_i的接近中心性，用记号CC_i来表示：

将接近中心性和度中心性进行结合得到新的节点重要度评价指标全局度量值，将节点v_i的全局度量值用记号CM_i表示：

CM_i＝αDC_i+βCC_i (5)

其中，DC_i为网络中节点v_i的度中心性,CC_i为节点v_i的接近中心性，α为度中心性可调节参数，β为接近中心性可调节参数，且α+β＝1，根据得到的全局度量值提取出关键词。

2.根据权利要求1所述基于NER与复杂网络特征的新闻关键词提取方法，其特征在于：步骤1中过滤阈值为30。

3.根据权利要求2所述基于NER与复杂网络特征的新闻关键词提取方法，其特征在于：步骤3中基于神经网络的命名实体识别方法：使用BiLSTM_CRF模型做序列标注，利用字嵌入和词嵌入，从输入层开始，模型的层次依次是look-up层、双向LSTM层、CRF层、输出层，look-up层将句子中每个字x_i由one-hot向量映射为低维稠密的字向量，双向LSTM层自动提取句子特征，CRF层进行句子级的序列标注；使用词性标注集中被标记为“ns”的部分来构造地名识别语料，使用基于BiLSTM-CRF模型命名实体识别方式。

4.根据权利要求3所述基于NER与复杂网络特征的新闻关键词提取方法，其特征在于：度中心性可调节参数α＝0.4，接近中心性可调节参数β＝0.6。