[发明专利]文档中无效词的识别方法及装置有效
| 申请号： | 201610957268.3 | 申请日： | 2016-10-27 |
| 公开（公告）号： | CN106919554B | 公开（公告）日： | 2020-06-30 |
| 发明（设计）人： | 彭际群;何慧梅;王峰伟 | 申请（专利权）人： | 阿里巴巴集团控股有限公司 |
| 主分类号： | G06F40/279 | 分类号： | G06F40/279;G06F16/31;G06F16/33 |
| 代理公司： | 北京亿腾知识产权代理事务所(普通合伙) 11309 | 代理人： | 陈霁 |
| 地址： | 英属开曼群岛大开*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请涉及计算机技术领域，尤其涉及一种文档中无效词的识别方法及装置，在一种文档中无效词的识别方法中，首先对识别无效词的文档进行预处理，得到与该文档对应的词语集合；然后根据预设的语料库，确定词语集合中各个词语的平均位置以及逆文档频率；之后根各个词语的平均位置、逆文档频率以及相关词语的逆文档频率，确定各个词语的目标权重值；最后根据各个词语的目标权重值，识别第一文档中的无效词。也即本申请是根据词语的平均位置以及逆文档频率，来从第一文档中识别无效词，由此，可以提高无效词识别的效率。 | ||
| 搜索关键词： | 文档 无效 识别 方法 装置 | ||
【主权项】：
一种文档中无效词的识别方法，其特征在于，包括：对第一文档进行预处理，得到与所述第一文档对应的词语集合，其中，所述第一文档为预设的语料库中的任一文档；根据所述预设的语料库，确定所述词语集合中各个词语的平均位置以及逆文档频率；对所述词语集合中的每个词语，根据所述词语的平均位置、逆文档频率以及相关词语的逆文档频率，确定所述词语的目标权重值；根据所述各个词语的目标权重值，识别所述第一文档中的无效词。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司，未经阿里巴巴集团控股有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201610957268.3/，转载请声明来源钻瓜专利网。
- 上一篇：三脚架支脚及其三脚架
- 下一篇：置物架
