[发明专利]新词发现方法及装置在审
| 申请号： | 201610282625.0 | 申请日： | 2016-04-29 |
| 公开（公告）号： | CN105955950A | 公开（公告）日： | 2016-09-21 |
| 发明（设计）人： | 康潮明 | 申请（专利权）人： | 乐视控股（北京）有限公司;乐视网信息技术（北京）股份有限公司 |
| 主分类号： | G06F17/27 | 分类号： | G06F17/27 |
| 代理公司： | 深圳市翼智博知识产权事务所(普通合伙) 44320 | 代理人： | 肖伟 |
| 地址： | 100025 北京市朝阳*** | 国省代码： | 北京;11 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明涉及一种新词发现方法及装置，所述方法包括：从目标文本库中的目标文本中提取词素，构建词素集合H，统计所述词素出现的频次，将所述词素和所述词素出现的频次表示为二元组的形式，形成二元组集合T；计算词素ti的子集w的上下文关联度d，并将d值大于或等于预设关联度阈值的词素ti的子集w汇总形成第一候选词集合Ws；计算词素ti的支持度和置信度，将支持度和置信度均大于或等于对应的最小阈值的词素ti汇总形成第二候选词集合Wt；求得第一候选词集合Ws和第二候选词集合Wt的交集作为候选新词集合Wh，对候选新词集合Wh进行过滤，提取新词保存为新词集合W。本发明有效地结合信息熵算法分析和关联规则算法分析，可有效提高新词发现的准确度。 | ||
| 搜索关键词： | 新词 发现 方法 装置 | ||
【主权项】：
一种新词发现方法，其特征在于，包括以下步骤：分析处理目标文本库中的目标文本，从所述目标文本中提取词素，构建词素集合H，统计所述词素出现的频次，将所述词素和所述词素出现的频次表示为二元组的形式，形成二元组集合T；获取所述二元组集合T中每个二元组中的词素ti的子集w的左邻字和右邻字，根据信息熵算法计算所述词素ti的子集w的上下文关联度d，并将上下文关联度d的值大于或等于预设关联度阈值的词素ti的子集w汇总形成第一候选词集合Ws；使用关联规则算法计算二元组集合T中每个二元组中的词素ti的支持度和置信度，将支持度和置信度均大于或等于对应的最小阈值的词素ti汇总形成第二候选词集合Wt；以及求得第一候选词集合Ws和第二候选词集合Wt的交集作为候选新词集合Wh，再对候选新词集合Wh进行过滤，提取新词保存为新词集合W。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于乐视控股（北京）有限公司;乐视网信息技术（北京）股份有限公司，未经乐视控股（北京）有限公司;乐视网信息技术（北京）股份有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610282625.0/，转载请声明来源钻瓜专利网。
