[发明专利]一种人名识别方法及装置有效
申请号: | 201711414492.9 | 申请日: | 2017-12-22 |
公开(公告)号: | CN108255806B | 公开(公告)日: | 2021-12-17 |
发明(设计)人: | 刘兵;苗艳军 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F40/295 | 分类号: | G06F40/295;G06F40/242;G06F16/783 |
代理公司: | 北京集佳知识产权代理有限公司 11227 | 代理人: | 王宝筠 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 人名 识别 方法 装置 | ||
本发明提供了一种人名识别方法及装置,可利用人名识别模型自动识别待识别人名语料中所包含的人名。由于人名知识库所包含人名具有全面性,因此利用人名知识库和视频知识库所训练的模型对歧义人名的识别具有一定准确度,同时也可识别可人名,提高了人名识别的整体效果。
技术领域
本发明涉及互联网搜索技术领域,更具体地说,涉及一种人名识别方法及装置。
背景技术
命名实体识别(Named Entity Recognition,NER),又称“专名识别”,具体指识别文本中具体特定意义的实体名称,例如,人名、地名以及机构名。视频行业中的文本,比如,视频标题和娱乐新闻中存在大量的人名,对文本中包含的人名的识别效果很大程度影响着视频应用产品的推广。
目前,人名识别主要通过构建一个通用人名识别模型来实现,例如,分类模型或者条件随机场模型。但是,待识别文本中很可能会出现歧义人名提及,例如,“黎明”,通用人名识别模型对这些歧义人名提及的识别错误率很高,从而影响视频搜索、视频推送等视频应用产品的效果。
发明内容
有鉴于此,本发明提供一种人名识别方法及装置,以解决现有的通用人名识别模型对这些歧义人名提及的识别错误率很高,从而影响视频搜索、视频推送等视频应用产品的效果的问题。技术方案如下:
一种人名识别方法,包括:
接收待识别人名语料;
调取人名识别模型,所述人名识别模型是预先利用人名知识库和视频知识库训练预设机器学习分类模型得到的;
利用所述人名识别模型识别所述待识别人名语料中所包含的人名。
优选的,预先利用人名知识库和视频知识库训练预设机器学习分类模型得到人名识别模型的过程,包括:
从人名知识库中抽取歧义人名列表和可信人名列表;
基于所述歧义人名列表从视频知识库中抽取歧义人名语料,并提取所述歧义人名语料的歧义人名特征;
基于所述可信人名列表从所述视频知识库中抽取可信人名语料,并提取所述可信人名语料的可信人名特征;
利用所述歧义人名特征和所述可信人名特征对预设机器学习分类模型进行训练,得到人名识别模型。
优选的,所述从人名知识库中抽取歧义人名列表和可信人名列表,包括:
从人名知识库中获取歧义人名,并生成包含有所述歧义人名的歧义人名列表;
从所述人名知识库中获取除所述歧义人名以外的非歧义人名;
调取搜索日志,并利用所述搜索日志从所述非歧义人名中选取可信人名;
生成包含有所述可信人名的可信人名列表。
优选的,所述基于所述歧义人名列表从视频知识库中抽取歧义人名语料,包括:
对于视频知识库中每一个视频文本,获取所述视频文本的标题;
对所述标题进行分词,得到多个标题词组;
判断所述多个标题词组中是否包含所述歧义人名列表中的至少一个歧义人名;
若包含,将所述视频文本确定为歧义人名文本;
生成包含有全部所述歧义人名文本的歧义人名语料。
优选的,所述将所述视频文本确定为歧义人名文本,之前,还包括:
分别计算所述视频文本与所述视频文本所包含的至少一个所述歧义人名之间的文本相似距离;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201711414492.9/2.html,转载请声明来源钻瓜专利网。
- 上一篇:舆情分析方法及装置、存储介质、电子设备
- 下一篇:一种识别研发方向的方法