[发明专利]实体词识别方法和装置有效
申请号: | 202010103350.6 | 申请日: | 2020-02-19 |
公开(公告)号: | CN111339268B | 公开(公告)日: | 2023-08-15 |
发明(设计)人: | 史亚冰;李双婕;蒋烨;张扬;朱勇 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06F16/332 | 分类号: | G06F16/332;G06F16/36 |
代理公司: | 北京清亦华知识产权代理事务所(普通合伙) 11201 | 代理人: | 王艳斌 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 实体词 识别 方法 装置 | ||
1.一种实体词识别方法,其特征在于,包括:
获取实体词类别和待识别文档;
根据所述实体词类别生成实体词问题;
对所述待识别文档拆分,生成多个候选语句;
将所述实体词问题和所述多个候选语句输入预先训练的问答模型,获取实体词识别结果;
根据所述实体词识别结果获取与所述实体词问题对应的实体词集合。
2.如权利要求1所述的方法,其特征在于,在所述将所述实体词问题和所述多个候选语句输入预先构建的问答模型之前,包括:
获取样本实体词问题和样本识别文档;
对所述样本识别文档拆分处理,获取多个候选样本语句;
将所述实体词问题和所述多个候选样本语句输入初始问答模型;
控制所述初始问答模型的嵌入层,提取所述样本实体词问题的第一特征和所述多个样本语句的第二特征;
拼接所述第一特征和所述第二特征生成样本特征;
将所述样本特征输入所述初始问答模型的模型层,获取所述模型层输出的样本实体词;
判断所述样本实体词与预先标注的所述样本识别文档中的目标实体词是否一致;
若不一致,则继续调节所述初始问答模型的模型参数,直至所述样本实体词与预先标注的所述样本识别文档中的目标实体词一致。
3.如权利要求2所述的方法,其特征在于,所述模型层包括多层解码单元,每一层解码单元的解码子单元的数量与所述样本特征对应的长度一致,所述每一层解码单元的解码子单元互不连接,所述多层解码单元中,每一层的每个解码子单元与上一层中的所有解码子单元连接,所述将所述样本特征输入所述初始问答模型的模型层,包括:
将所述样本特征中的每个子特征输入到对应位置的第一层解码单元的子单元;
获取所述模型层最后一层解码单元对应位置输出的实体词解码结果。
4.如权利要求1所述的方法,其特征在于,还包括:
对所述实体词集合中每个实体词进行语义分析,获取所述每个实体词的语义通顺度;
过滤掉所述实体词集合中,所述语义通顺度小于预设阈值的实体词;
将过滤后的所述实体词集合提供给用户。
5.如权利要求1所述的方法,其特征在于,还包括:
获取所述实体词集合中每个实体词的长度;
过滤掉所述实体词集合中,所述长度不属于预设长度范围的实体词;
将过滤后的所述实体词集合提供给用户。
6.如权利要求1所述的方法,其特征在于,所述根据所述实体词识别结果获取与所述实体词问题对应的实体词集合,包括:
识别所述问答模型输出的与多个后续语句对应的标注语句;
识别所述标注语句中的开始标识和结束标识;
提取所述开始标识和相邻结束标识之间的实体词,生成所述实体词集合。
7.一种实体词识别装置,其特征在于,包括:
第一获取模块,用于获取实体词类别和待识别文档;
第一生成模块,用于根据所述实体词类别生成实体词问题;
第二生成模块,用于对所述待识别文档拆分,生成多个候选语句;
第二获取模块,用于将所述实体词问题和所述多个候选语句输入预先训练的问答模型,获取实体词识别结果;
第三获取模块,用于根据所述实体词识别结果获取与所述实体词问题对应的实体词集合。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010103350.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种基于相似性损失的行为识别方法
- 下一篇:地图展示方法与系统