[发明专利]一种基于知识库和深度学习的实体名称提取方法

摘要

本发明涉及一种基于知识库和深度学习的实体名称提取方法，包括获得对待匹配实体进行描述的文本，将描述文本、外部知识库及两者的结合作为训练词和实体嵌入的文本集；使用词嵌入工具得到各个词和实体的嵌入式表达。建立深度学习网络，将嵌入式表达和外部现有知识库的文本表达作为输入，输出词m对应待匹配实体的概率，采集训练数据输入到建立好的深度学习网络中对深度学习网络模型进行训练，对待匹配文本，通过计算词w和实体之间的余弦相似度得到多个匹配候选项，最后将词w和匹配候选项输入到深度学习网络中，得到匹配概率。本发明较现有技术，可以基本实现端到端的自动化匹配，具有更好的匹配准确度和效率。

主权项

1.一种基于知识库和深度学习的实体名称提取方法，其特征在于，所述方法包括：/n步骤1：对于待匹配实体E，在至少一个外部现有知识库中或通过网络爬虫的方式获得至少一个对所述待匹配实体E进行描述的文本；/n步骤2：从描述文本中标注出在所述外部现有知识库中已经识别为实体的名词构成实体列表，将所述描述文本、所述实体列表以及所述描述文本和所述实体列表的组合分别作为一种表示方式，所述表示方式作为训练词和实体嵌入的文本集；/n步骤3：对所述文本集中非实体名词的其他自由文本，采用切词工具划分成单个词后，使用词嵌入工具进行训练，得到各个词和实体的嵌入式表达；/n步骤4：建立深度学习网络，将从网络上获取的待匹配新闻文本和所述外部现有知识库的文本表达，再加上待匹配实体E的嵌入式表达作为其输入，输出所述待匹配新闻文本中某个位置的词m对应待匹配实体E的概率；/n步骤5：采集训练数据，包括带标注的公开数据集和采用人工标注的新闻文本集，取至少300个(m，E1)对，包括至少100个匹配的正样本，至少100个是实体提及但不匹配的负样本，至少100个不是实体提及的负样本；/n步骤6：将采集的训练数据输入到建立好的深度学习网络中进行训练，将其损失函数定义为交叉熵，使用随机梯度下降或Adam优化方法进行深度学习网络的训练，并设定神经网络训练的网络参数，得到训练好的深度学习模型；/n步骤7：对于从网络上获取的未标注文本集，首先对所述未标注文本集采用切词工具进行切分后得到词w，并获得词w的嵌入表达，将所述词w与每个待匹配实体E的嵌入表达计算余弦相似度：/n