[发明专利]网络新词发现方法、装置、电子设备及存储介质在审
申请号: | 201910247632.0 | 申请日: | 2019-03-29 |
公开(公告)号: | CN110110322A | 公开(公告)日: | 2019-08-09 |
发明(设计)人: | 杨雪松;崔勇 | 申请(专利权)人: | 泰康保险集团股份有限公司;泰康资产管理有限责任公司 |
主分类号: | G06F17/27 | 分类号: | G06F17/27;G06F16/33;G06F16/951 |
代理公司: | 北京泛华伟业知识产权代理有限公司 11280 | 代理人: | 王勇 |
地址: | 100030 北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | 本发明的实施例提供了用于网络新词发现的方法、装置、设备及存储介质,包括:从语料库中获取多个候选词并计算每个候选词的内部凝固度、内部自由度和外部自由度,以及基于每个候选词的内部凝固度、内部自由度和外部自由度来选择所述多个候选词中的一个或多个作为新词。其中内部凝固度指示候选词作为固定搭配出现的概率,内部自由度指示候选词能被拆成更短的词的可能性,外部自由度指示该候选词与其他词搭配的灵活程度。本发明实施例的技术方案可以改善基于信息熵的新词发现方法的准确率。 | ||
搜索关键词: | 候选词 新词发现 凝固度 存储介质 外部 电子设备 固定搭配 信息熵 语料库 准确率 搭配 网络 概率 灵活 | ||
【主权项】:
1.一种用于网络新词发现的方法,包括:从语料库中获取多个候选词并计算每个候选词的内部凝固度、内部自由度和外部自由度,基于每个候选词的内部凝固度、内部自由度和外部自由度来选择所述多个候选词中的一个或多个作为新词;其中,计算每个候选词的内部自由度包括:生成候选词的全部二分组合,每个二分组合将候选词拆分成前部分子串和后部分子串;对于每个二分组合,计算该组合中前部分子串的右邻字信息熵和后部分子串的左邻字信息熵,取其中较小值作为该二分组合的自由度;从全部二分组合的自由度中取最小值作为该候选词的内部自由度。
下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于泰康保险集团股份有限公司;泰康资产管理有限责任公司,未经泰康保险集团股份有限公司;泰康资产管理有限责任公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/patent/201910247632.0/,转载请声明来源钻瓜专利网。