[发明专利]基于注意力机制的BERT-BiGRU-IDCNN-CRF的命名实体识别方法在审
申请号: | 202110016942.9 | 申请日: | 2021-01-06 |
公开(公告)号: | CN112733541A | 公开(公告)日: | 2021-04-30 |
发明(设计)人: | 张毅;王爽胜;何彬;叶培明;李克强 | 申请(专利权)人: | 重庆邮电大学 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06N3/04;G06N3/08 |
代理公司: | 重庆市恒信知识产权代理有限公司 50102 | 代理人: | 陈栋梁 |
地址: | 400065 重*** | 国省代码: | 重庆;50 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明请求保护一种基于注意力机制的BERT‑BiGRU‑IDCNN‑CRF的命名实体识别方法,包括步骤:通过大规模无标注预料训练BERT预训练语言模型;在训练好的BERT模型的基础上,构造完整的BERT‑BiGRU‑IDCNN‑Attention‑CRF命名实体识别模型;构建实体识别训练集,并在该训练集上对完整实体识别模型进行训练;将待进行实体识别的预料输入到训练好的实体识别模型,输出命名实体识别结果,本发明将BiGRU和IDCNN神经网络提取的特征向量进行合并,弥补了BiGRU神经网络在提取全局上下文特征的过程中忽略局部特征的缺陷,同时引入了注意力机制,对提取到的特征进行进行权重分配,强化对于实体识别起关键作用的特征,弱化无关特征,进一步提高命名实体识别的识别效果。 | ||
搜索关键词: | 基于 注意力 机制 bert bigru idcnn crf 命名 实体 识别 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于重庆邮电大学,未经重庆邮电大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202110016942.9/,转载请声明来源钻瓜专利网。