[发明专利]一种新词的识别方法及装置有效
| 申请号： | 201710210572.6 | 申请日： | 2017-03-31 |
| 公开（公告）号： | CN107180025B | 公开（公告）日： | 2020-05-29 |
| 发明（设计）人： | 胡海青;苗艳军 | 申请（专利权）人： | 北京奇艺世纪科技有限公司 |
| 主分类号： | G06F40/289 | 分类号： | G06F40/289;G06F40/216 |
| 代理公司： | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人： | 马敬;项京 |
| 地址： | 100080 北京市海淀*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供了一种新词的识别方法及装置，所述方法包括：获取待处理语料库中当前时间点之前的第一预设时间段内的语料，和待处理语料库中除第一预设时间段内的语料之外的剩余语料；根据N‑gram语言模型获取第一预设时间段内的语料的候选新词，N‑gram语言模型表征组成候选新词的字的个数；计算候选新词在第一预设时间段内的语料中的成词特征，得到候选新词的第一成词程度；计算候选新词在剩余语料中的成词特征，得到候选新词的第二成词程度；根据第一成词程度和第二成词程度，计算候选新词的新颖程度；根据第一成词程度和新颖程度，计算候选新词的衡量度，并对衡量度进行排序，识别候选新词中的新词。应用本发明实施例，有效提高新词识别的准确率。 | ||
| 搜索关键词： | 一种 新词 识别 方法 装置 | ||
【主权项】：
一种新词的识别方法，其特征在于，所述方法包括：获取待处理语料库中当前时间点之前的第一预设时间段内的语料，和所述待处理语料库中除所述第一预设时间段内的语料之外的剩余语料；根据N‑gram语言模型获取所述第一预设时间段内的语料的候选新词，所述N‑gram语言模型表征组成所述候选新词的字的个数；计算所述候选新词在所述第一预设时间段内的语料中的成词特征，得到所述候选新词的第一成词程度；计算所述候选新词在所述剩余语料中的成词特征，得到所述候选新词的第二成词程度；根据所述第一成词程度和所述第二成词程度，计算所述候选新词的新颖程度；根据所述第一成词程度和所述新颖程度，计算所述候选新词的衡量度，并对所述衡量度进行排序，识别所述候选新词中的新词。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司，未经北京奇艺世纪科技有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710210572.6/，转载请声明来源钻瓜专利网。
