[发明专利]半结构化文档知识抽取方法、装置、电子设备及存储介质有效
申请号: | 201910675370.8 | 申请日: | 2019-07-24 |
公开(公告)号: | CN110427623B | 公开(公告)日: | 2021-09-21 |
发明(设计)人: | 黄继青;费加磊 | 申请(专利权)人: | 深圳追一科技有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F40/289;G06F40/284;G06F16/35;G06N3/04 |
代理公司: | 广州三环专利商标代理有限公司 44202 | 代理人: | 郝传鑫;熊永强 |
地址: | 518054 广东省深圳市南山区粤海*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 结构 文档 知识 抽取 方法 装置 电子设备 存储 介质 | ||
1.一种半结构化文档知识抽取方法,其特征在于,所述方法包括:
从目标文档中确定待抽取知识区域;
通过实体识别技术识别出所述待抽取知识区域内的实体,得到实体候选集;
通过预设分类模型获取所述实体候选集中任意两个实体间的关系属于预先定义的关系类型的概率;
根据该任意两个实体间的关系属于预先定义的关系类型的概率获得实体关系网;
若所述实体关系网为一个,则直接输出所述实体关系网;
若所述实体关系网为多个,则对多个所述实体关系网进行排序,选取最优的实体关系网进行输出;
其中,所述对多个所述实体关系网进行排序,包括:根据所述任意两个实体间的关系属于预先定义的关系类型的概率获取多个所述实体关系网中每个实体关系网的概率;将该每个实体关系网的概率和基于先验知识构建的全局特征作为最大熵排序模型的输入,得到多个所述实体关系网的排序结果;
所述通过实体识别技术识别出所述待抽取知识区域内的实体,包括:
采用关键词词典和文本模板对所述待抽取知识区域内的文本进行匹配,以识别出所述待抽取知识区域内的专业领域实体和数值类实体;
基于识别出的所述专业领域实体和数值类实体,将所述待抽取知识区域内的文本输入训练好的序列标注模型以识别出所述待抽取知识区域内的命名实体;
所述待抽取知识区域内的实体包括专业领域实体和数值类实体,在识别出所述数值类实体之后,所述方法还包括:
对所述数值类实体进行单位转化和归一化处理。
2.根据权利要求1所述的方法,其特征在于,所述从目标文档中确定待抽取知识区域,包括:
读取目标文档以确定目标文档的语义信息或篇章结构信息;
根据所述语义信息或所述篇章结构信息从所述目标文档中确定待抽取知识区域。
3.根据权利要求1所述的方法,其特征在于,所述基于识别出的所述专业领域实体和数值类实体,将所述待抽取知识区域内的文本输入训练好的序列标注模型以识别出所述待抽取知识区域内的命名实体,包括:
将所述待抽取知识区域内的文本以句子为单位进行切分;
将句子中识别出的所述专业领域实体和所述数值类实体以相应的标签进行表示,以及将句子中的其他文本进行分词得到单词序列;
将所述单词序列以预训练或随机初始化的词向量表示,输入双向LSTM层进行特征抽取;
将抽取到的特征输入CRF分类器以对所述单词序列中的每个单词进行标注,输出所述待抽取知识区域内的文本的识别结果,从该识别结果中得到所述待抽取知识区域内的命名实体。
4.根据权利要求1所述的方法,其特征在于,所述通过预设分类模型获取所述实体候选集中任意两个实体间的关系属于预先定义的关系类型的概率,包括:
将该任意两个实体以预训练或随机初始化的词向量表示;
将该任意两个实体的词向量及该任意两个实体所属的实体类别的Embedding表达输入LSTM模型进行特征抽取;其中,该任意两个实体所属的实体类别的Embedding表达是随时初始化得到的;
将抽取到的特征输入双线性模型进行预测,得到该任意两个实体间的关系属于预先定义的关系类型的得分,再经过Softmax分类器最终得到该任意两个实体间的关系属于预先定义的关系类型的概率。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳追一科技有限公司,未经深圳追一科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910675370.8/1.html,转载请声明来源钻瓜专利网。
- 上一篇:语料标注的评估方法、装置及存储介质
- 下一篇:实体关系抽取方法及装置