[发明专利]一种基于开放式信息抽取的文本关系自动标注方法有效
申请号: | 202011366103.1 | 申请日: | 2020-11-29 |
公开(公告)号: | CN112417891B | 公开(公告)日: | 2023-08-22 |
发明(设计)人: | 闵飞;胡岩峰;沈红;乔雪;彭晨;刘午凌;罗晋 | 申请(专利权)人: | 中国科学院电子学研究所苏州研究院 |
主分类号: | G06F40/30 | 分类号: | G06F40/30;G06F40/216;G06F16/28 |
代理公司: | 南京理工大学专利中心 32203 | 代理人: | 封睿 |
地址: | 215000 江苏省*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 开放式 信息 抽取 文本 关系 自动 标注 方法 | ||
1.一种基于开放式信息抽取的文本关系自动标注方法,其特征在于,包括如下步骤:
步骤1:获取结构化知识数据库,根据数据库确定目标实体并进行对应的非结构化文本信息的获取与预处理;
步骤2:基于开放式信息抽取工具完成句子的实体关系三元组提取;
步骤3:将三元组对齐到数据库中进行初步的关系标签匹配;
步骤4:对关系标签和关系短语进行语义相似度的计算,并筛选出相似度最高的关系标签;
步骤5:判断选取的关系标签的相似度大小是否达到设定的阈值,达到阈值则作为标注结果,完成自动标注;
步骤3中,将三元组对齐到数据库中进行初步的关系标签匹配,具体方法为:首先,若实体1不是对应实体名称或者其简写则直接忽略该三元组;否则,判断实体2是否存在于实体1的知识库中,若是实体2是实体1某一标签的具体值,则表示匹配成功,否则先使用包含匹配进行匹配,再利用模糊匹配进行匹配,若都没有匹配成功,则舍弃该条数据,其中:
所述包含匹配是判断实体2是否包含某一具体标签值,若包含,则匹配成功,此外若最后的标注标签为包含匹配所得到的,则将实体2改为该标签对应的值;
所述模糊匹配则是计算实体2与标签值的字面近似程度,近似程度达到设定的阈值则认为匹配成功;
其中,模糊匹配利用Levenshtein Distance算法实现,具体如下:
对于两个字符串a、b,长度为|a|、|b|,它们的Levenshtein Distance为:
当ai=bj时,为0,否则为1,leva,b(i,j)就是a的前i个字符与b的前j个字符的编辑距离;
a,b的匹配度s为:1-(leva,b(|a|,|b|)/max(|a|,|b|))。
2.根据权利要求1所述的基于开放式信息抽取的文本关系自动标注方法,其特征在于,步骤1中,获取大型的结构化知识数据库,根据数据库确定目标实体并进行对应的非结构化文本信息的获取与预处理,具体方法为:从互联网下载或者构建结构化知识数据库,根据自身需求从数据库中提取实体名称,根据获取的实体名称从网络上采集文本信息,进行筛选和指代消解处理,将文本中的代词转化为实体名称。
3.根据权利要求1所述的基于开放式信息抽取的文本关系自动标注方法,其特征在于,步骤2中,基于开放式信息抽取工具完成句子的实体关系三元组提取,具体方法为:首先将处理后的文本以标点符号为界限进行句子分割,然后利用开放式信息抽取工具,以句子为单位,提取句子中的实体对和描述关系的关系短语,最后以三元组(实体1,关系短语,实体2)形式完成构建。
4.根据权利要求1所述的基于开放式信息抽取的文本关系自动标注方法,其特征在于,步骤4中,对关系标签和关系短语进行语义相似度的计算,并筛选出相似度最高的关系标签,具体方法为:
对于两个短语a、b,每个短语有m、n个单词,利用Google的词向量模型对a中的每个单词与b中的所有单词分别做余弦相似度计算,保存最大值不为0的结果ai,共有k个,其中k=m,则a、b的语义相似度Sim为:
5.一种基于开放式信息抽取的文本关系自动标注系统,其特征在于,基于权利要求1-4任一项所述的方法进行文本关系自动标注。
6.一种计算机设备,包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序,所述处理器执行所述计算机程序时实现权利要求1-4任一项所述的方法进行文本关系自动标注。
7.一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现权利要求1-4任一项所述的方法进行文本关系自动标注。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国科学院电子学研究所苏州研究院,未经中国科学院电子学研究所苏州研究院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011366103.1/1.html,转载请声明来源钻瓜专利网。
- 信息记录介质、信息记录方法、信息记录设备、信息再现方法和信息再现设备
- 信息记录装置、信息记录方法、信息记录介质、信息复制装置和信息复制方法
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录装置、信息再现装置、信息记录方法、信息再现方法、信息记录程序、信息再现程序、以及信息记录介质
- 信息记录设备、信息重放设备、信息记录方法、信息重放方法、以及信息记录介质
- 信息存储介质、信息记录方法、信息重放方法、信息记录设备、以及信息重放设备
- 信息存储介质、信息记录方法、信息回放方法、信息记录设备和信息回放设备
- 信息记录介质、信息记录方法、信息记录装置、信息再现方法和信息再现装置
- 信息终端,信息终端的信息呈现方法和信息呈现程序
- 信息创建、信息发送方法及信息创建、信息发送装置