[发明专利]一种基于NER与复杂网络特征的新闻关键词提取方法

摘要

本发明公开了一种基于NER与复杂网络特征的新闻关键词提取方法，将命名实体识别(Named Entities Recognition，NER)与自然语言中的复杂网络(Complex Networks，CN)特性相结合，提出了新型的关键词抽取方法——基于NER结合复杂网络特征的方法(NER‑CN)，该方法首先对句子进行标注进行命名实体识别分析，然后构建文本复杂网络并根据网络中的节点的全局度量值进行关键词抽取。本发明所提出的关键词抽取方法相较于传统方法在文本分类的精确率，召回率和F1值等指标上有着显著的提高。

主权项

1.一种基于NER与复杂网络特征的新闻关键词提取方法，其特征在于，包括以下步骤：/n步骤1：收集新闻内容，将新闻内容生成原始预料文件夹下文件列表，设置过滤阈值，字符数小于过滤阈值的内容被过滤掉，对于每个语料，正则匹配出url和content；所有的新闻内容将按照url中的类别分别保存在各个txt文件中；/n步骤2：对各个txt文件中的内容进行分词，使用结巴分词去停用词；/n步骤3：利用基于神经网络的命名实体识别方法对句子进行标注，而后进行日期识别，人名识别以及地名识别，提取出文本中重要的命名实体；/n步骤4：构建词语复杂网络；将步骤3得到的词语进行数字编码，将编码结果作为节点，使用距离2作为词语关联关系的距离，即距离在2以内的词语之间有连边，对每个句子循环判断；/nV＝{v₁,v₂…v_n}为一有N个节点的集合，(v_i,v_j)表示节点v_i∈V与v_j∈V之间的边，G(V,E)是以V为节点集合，以为边集合的图，节点v_i的度中心性DC_i为：/n /n其中，k_i为节点的度，即与其相连的节点的个数，N为网络中节点的个数；/n计算一个节点v_i到网络中所有节点的距离的平均值，记为d_i，即有：/n /n其中，d_ij是节点v_i到节点v_j的距离，网络中，所有节点间的距离平均值L用下面的公式进行计算：/n /n将d_i的倒数定义为节点v_i的接近中心性，用记号CC_i来表示：/n /n将接近中心性和度中心性进行结合得到新的节点重要度评价指标全局度量值，将节点v_i的全局度量值用记号CM_i表示：/nCM_i＝αDC_i+βCC_i (5)/n其中，DC_i为网络中节点v_i的度中心性,CC_i为节点v_i的接近中心性，α为度中心性可调节参数，β为接近中心性可调节参数，且α+β＝1，根据得到的全局度量值提取出关键词。/n