[发明专利]实体词识别方法和装置有效

专利信息
申请号: 202010103350.6 申请日: 2020-02-19
公开(公告)号: CN111339268B 公开(公告)日: 2023-08-15
发明(设计)人: 史亚冰;李双婕;蒋烨;张扬;朱勇 申请(专利权)人: 北京百度网讯科技有限公司
主分类号: G06F16/332 分类号: G06F16/332;G06F16/36
代理公司: 北京清亦华知识产权代理事务所(普通合伙) 11201 代理人: 王艳斌
地址: 100085 北京市*** 国省代码: 北京;11
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 实体词 识别 方法 装置
【权利要求书】:

1.一种实体词识别方法,其特征在于,包括:

获取实体词类别和待识别文档;

根据所述实体词类别生成实体词问题;

对所述待识别文档拆分,生成多个候选语句;

将所述实体词问题和所述多个候选语句输入预先训练的问答模型,获取实体词识别结果;

根据所述实体词识别结果获取与所述实体词问题对应的实体词集合。

2.如权利要求1所述的方法,其特征在于,在所述将所述实体词问题和所述多个候选语句输入预先构建的问答模型之前,包括:

获取样本实体词问题和样本识别文档;

对所述样本识别文档拆分处理,获取多个候选样本语句;

将所述实体词问题和所述多个候选样本语句输入初始问答模型;

控制所述初始问答模型的嵌入层,提取所述样本实体词问题的第一特征和所述多个样本语句的第二特征;

拼接所述第一特征和所述第二特征生成样本特征;

将所述样本特征输入所述初始问答模型的模型层,获取所述模型层输出的样本实体词;

判断所述样本实体词与预先标注的所述样本识别文档中的目标实体词是否一致;

若不一致,则继续调节所述初始问答模型的模型参数,直至所述样本实体词与预先标注的所述样本识别文档中的目标实体词一致。

3.如权利要求2所述的方法,其特征在于,所述模型层包括多层解码单元,每一层解码单元的解码子单元的数量与所述样本特征对应的长度一致,所述每一层解码单元的解码子单元互不连接,所述多层解码单元中,每一层的每个解码子单元与上一层中的所有解码子单元连接,所述将所述样本特征输入所述初始问答模型的模型层,包括:

将所述样本特征中的每个子特征输入到对应位置的第一层解码单元的子单元;

获取所述模型层最后一层解码单元对应位置输出的实体词解码结果。

4.如权利要求1所述的方法,其特征在于,还包括:

对所述实体词集合中每个实体词进行语义分析,获取所述每个实体词的语义通顺度;

过滤掉所述实体词集合中,所述语义通顺度小于预设阈值的实体词;

将过滤后的所述实体词集合提供给用户。

5.如权利要求1所述的方法,其特征在于,还包括:

获取所述实体词集合中每个实体词的长度;

过滤掉所述实体词集合中,所述长度不属于预设长度范围的实体词;

将过滤后的所述实体词集合提供给用户。

6.如权利要求1所述的方法,其特征在于,所述根据所述实体词识别结果获取与所述实体词问题对应的实体词集合,包括:

识别所述问答模型输出的与多个后续语句对应的标注语句;

识别所述标注语句中的开始标识和结束标识;

提取所述开始标识和相邻结束标识之间的实体词,生成所述实体词集合。

7.一种实体词识别装置,其特征在于,包括:

第一获取模块,用于获取实体词类别和待识别文档;

第一生成模块,用于根据所述实体词类别生成实体词问题;

第二生成模块,用于对所述待识别文档拆分,生成多个候选语句;

第二获取模块,用于将所述实体词问题和所述多个候选语句输入预先训练的问答模型,获取实体词识别结果;

第三获取模块,用于根据所述实体词识别结果获取与所述实体词问题对应的实体词集合。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/202010103350.6/1.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code back_top