[发明专利]一种从新闻页面中自动提取机构实体名词的方法

权利要求书

1.一种从新闻页面中自动提取机构实体名词的方法，其特征在于，包括以下步骤：

(1)对新闻页面中文本内容进行提取解析；

(2)将提取的文本内容进行去重过滤处理，并对空格、标题、符号进行删除，获得待输入文本内容；

(3)将待输入文本内容输入标注模型中进行序列处理，获得文本内容中各单词预测标签；

(4)将各单词预测标签与现有实体名词数据库进行对比，确认各单词预测标签对应的实体名词类别；

(5)将新闻页面与实体名词和实体名词对应类别进行对应并入库。

2.根据权利要求1所述的一种从新闻页面中自动提取机构实体名词的方法，其特征在于，所述步骤(1)中新闻页面中文本内容的解析提取具体为：采用Python3的request库和lxml库对新闻页面的HTML的DOM结构进行文本内容提取，再通过etree.HTML和csssector选择器进行解析。

3.根据权利要求2所述的一种从新闻页面中自动提取机构实体名词的方法，其特征在于，所述新闻页面中文本内容提取还包括对页面常用标签进行提取。

4.根据权利要求1所述的一种从新闻页面中自动提取机构实体名词的方法，其特征在于，所述将提取的文本内容进行去重过滤处理采用Python3的BloomFilter进行。

5.根据权利要求1所述的一种从新闻页面中自动提取机构实体名词的方法，其特征在于，所述标注模型采用BILSTM模型结构，其训练方式如下：

(1)将待训练数据进行处理,解析其中文本信息和实体信息，将每个句子保存为单词序列和标注序列；

(2)将每个句子的单词序列中各单词在词库中进行检索，对未检索到的单词赋值为1，检索到的单词赋值为词库中对应值加上检索次数，将每个句子转换为数值序列；

(3)将每个句子数值序列进行归一化处理；

(4)将归一化后的每个句子数值序列输入BILSTM模型，通过循环神经网络隐藏层向前推算和向后推算输出每个句子中各单词的预测标签；

(5)将各句子的预测标签与标注序列对比检测训练结果；

(6)重复步骤(1)至步骤(5)，在对比检测训练结果满足需求时完成标注模型训练。