[发明专利]专业百科命名实体识别方法、系统及电子设备有效
申请号: | 202110525518.7 | 申请日: | 2021-05-12 |
公开(公告)号: | CN113065355B | 公开(公告)日: | 2022-08-26 |
发明(设计)人: | 江瑞;傅卓然;闾海荣;张学工;王维笑 | 申请(专利权)人: | 清华大学 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F40/30;G06F16/36 |
代理公司: | 北京鸿元知识产权代理有限公司 11327 | 代理人: | 袁文婷;张娓娓 |
地址: | 10008*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 专业 百科 命名 实体 识别 方法 系统 电子设备 | ||
1.一种专业百科命名实体识别方法,应用于电子装置,其特征在于,所述方法包括:
通过文档嵌入的方式对标准化词表中的专业词汇进行向量化表示,以形成种子词集合;
将所述种子词集合中的各个实体类别的向量求平均,以获取所述实体类别的向量化表示,作为所述种子词集合中的实体类别的标签向量;
根据目标文档中候选专业实体的标签向量和所述种子词集合中的实体类别的标签向量,通过余弦相似度对比确定所述候选专业实体所属的类别;
其中,所述通过文档嵌入的方式对标准化词表中的专业词汇进行向量化表示的步骤包括:
在预设数据库中在线搜索所述标准化词表中的专业词汇;
根据搜索结果将有结果页面返回的专业词汇与实体类别添加至种子实体列表;
对于所述种子实体列表中的每个实体,从所述预设数据库中提取约定部分的描述性文字作为实体嵌入文档;
将所述实体嵌入文档进行文档嵌入处理,以获取每个实体的向量化表示;
所述目标文档中候选专业实体的标签向量的确定方法包括:
在所述目标文档中利用语义依存分析抽取出全部的名词短语作为候选实体集合;
以预设搜索引擎搜索的方式对所述候选实体集合进行专业实体筛选,以获取候选专业实体集合;
根据所述预设搜索引擎对所述候选专业实体集合中的实体进行再次搜索,以确定所述候选专业实体的嵌入文档;
根据所述嵌入文档对所述候选专业实体进行嵌入,以得到所述候选专业实体的标签向量;
以及,在根据所述预设搜索引擎对所述候选专业实体集合中的实体进行再次搜索,以确定所述候选专业实体的嵌入文档的过程中,
通过所述预设搜索引擎对所述候选专业实体集合中的实体进行再次搜索,获取搜索页面;
爬取所述搜索页面预设条数搜索结果的简短文字描述并拼接形成语料;
将所述语料作为所述候选专业实体的嵌入文档。
2.如权利要求1所述的专业百科命名实体识别方法,其特征在于,在将所述种子词集合中的各个实体类别的向量求平均,以获取所述实体类别的向量化表示,作为所述种子词集合中的实体类别的标签向量的过程中,
假设实体Ei拥有描述性文字Ti,Ti=w1,w2,…,wn,wj代表所述描述性文字中的第j个词,1≤j≤n,并且wj拥有词向量ej,则实体Ei的向量化表示edocument,i为所述描述性文字中全部词向量的平均值。
3.如权利要求2所述的专业百科命名实体识别方法,其特征在于,在所述目标文档中利用语义依存分析抽取出全部的名词短语作为候选实体集合的步骤进一步包括:
采用结巴分词算法对需要进行实体识别的所述目标文档进行分词处理;
将分词后目标文档输入hanlp语义依存分析算法,以获取所述目标文档中每个词的词性标注以及词语之间的语义依存关系标签;
根据所述目标文档中每个词的词性标注以及词语之间的语义依存关系标签,确定所述目标文档中的名词短语和主谓短语;
将所述目标文档中的所有名词短语作为候选实体集合。
4.如权利要求3所述的专业百科命名实体识别方法,其特征在于,所述以预设搜索引擎搜索的方式对所述候选实体集合进行专业实体筛选,以获取候选专业实体集合的步骤进一步包括:
在所述预设搜索引擎中搜索所述候选实体集合中的实体,获取第一搜索结果;
在所述第一搜索结果中剔除广告条目后所剩条目中取排序靠前的预设条数结果的搜索页面简介,并检索其中是否含有预设专业关键字中任一关键字;
若所述预设条数结果中任意一条的搜索页面简介含有所述关键字,则判定所述实体为专业实体。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于清华大学,未经清华大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110525518.7/1.html,转载请声明来源钻瓜专利网。