[发明专利]一种基于预训练语言模型的中文文本关键信息抽取方法有效
申请号: | 202010460134.7 | 申请日: | 2020-05-27 |
公开(公告)号: | CN111444721B | 公开(公告)日: | 2022-09-23 |
发明(设计)人: | 俞扬;詹德川;周志华;李龙宇 | 申请(专利权)人: | 南京大学 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F40/30;G06F40/211;G06N3/04;G06N3/08 |
代理公司: | 南京乐羽知行专利代理事务所(普通合伙) 32326 | 代理人: | 李玉平 |
地址: | 210046 江苏*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明公开了一种基于预训练语言模型的中文文本关键信息抽取方法,具体步骤如下:(1)将待抽取的关键信息进行分类,易于归纳组成规则的信息类别,使用正则匹配的方法抽取。(2)对命名实体使用序列标注模型抽取。(3)序列标注模型采用对预训练语言模型微调的方法进行构建,首先使用大规模无标记文本语料学习得到预训练语言模型,并在预训练阶段引入词边界特征。(4)将使用规则匹配的数据内容替换为其对应的规则模板标签,以完成规则匹配与深度网络的融合。(5)根据有标记的训练数据,在预训练语言模型上进行微调,将其迁移到命名实体的序列标注任务上。本发明可以有效提取文本上下文语义特征,并且在复杂信息类别的场景下有效地识别各个信息种类。 | ||
搜索关键词: | 一种 基于 训练 语言 模型 中文 文本 关键 信息 抽取 方法 | ||
【主权项】:
暂无信息
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京大学,未经南京大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/202010460134.7/,转载请声明来源钻瓜专利网。