[发明专利]一种基于自动样本标注的闭环实体抽取方法在审
申请号: | 201911354247.2 | 申请日: | 2019-12-25 |
公开(公告)号: | CN111125378A | 公开(公告)日: | 2020-05-08 |
发明(设计)人: | 宿鹏;段飞虎;陈锋涛;冯自强;韩文;张宏伟 | 申请(专利权)人: | 同方知网(北京)技术有限公司;同方知网数字出版技术股份有限公司 |
主分类号: | G06F16/36 | 分类号: | G06F16/36;G06F40/289;G06N3/04;G06N3/08 |
代理公司: | 北京天奇智新知识产权代理有限公司 11340 | 代理人: | 陈新胜 |
地址: | 100084 北京市海淀区清华园清华*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 自动 样本 标注 闭环 实体 抽取 方法 | ||
1.一种基于自动样本标注的闭环实体抽取方法,其特征在于,所述方法包括:
A构建种子词库,将领域相关的实体种子词导入词典,存储到数据库中;
B选取在词典中相关行业领域的实体种子词,然后使用词向量的方法找到关联词,在语料库中通过倒排索引摘取出相关的语料集,进行程序自动标注,生成训练的数据集;
C把实体识别的训练集数据导入到程序中并通过BiLSTM-CRF算法进行模型训练操作,生成实体提取的模型;
D将待检测数据集输入导入模型中,进行实体识别,并根据识别结果,判断模型的性能;
E将筛选后的实体词导入词典中,在下一次训练时标注训练数据集。
2.如权利要求1所述的基于自动样本标注的闭环实体抽取方法,其特征在于,所述步骤B中语料集的自动标注格式为B-*,I-*,O,其中B表示该实体的首部,I表示实体短语的中间部分,O表示不是实体。
3.如权利要求1所述的基于自动样本标注的闭环实体抽取方法,其特征在于,所述步骤C中:BiLSTM-CRF算法包括:
将输入的词转化为向量,随机初始化的embedding矩阵将句子的每个字由one-hot向量映射为低维稠密的字向量;并将获取的字向量进行dropout操作;
将获取的字向量数据结果作为双向LSTM神经网络隐藏层的输入,经过多层神经元的处理,获取双向LSTM神经网络的输出数据;
将双向LSTM神经网络的输出结果作为CRF算法的输入端;
调整训练过程中参数,获得实体识别模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于同方知网(北京)技术有限公司;同方知网数字出版技术股份有限公司,未经同方知网(北京)技术有限公司;同方知网数字出版技术股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201911354247.2/1.html,转载请声明来源钻瓜专利网。