[发明专利]词库生成方法及装置、短文本检测方法及装置有效
| 申请号： | 201710153105.4 | 申请日： | 2017-03-15 |
| 公开（公告）号： | CN107402945B | 公开（公告）日： | 2020-07-10 |
| 发明（设计）人： | 郑丹丹 | 申请（专利权）人： | 阿里巴巴集团控股有限公司 |
| 主分类号： | G06F16/36 | 分类号： | G06F16/36;G06F16/35;G06F40/284 |
| 代理公司： | 北京晋德允升知识产权代理有限公司 11623 | 代理人： | 杨移 |
| 地址： | 英属开曼群岛大开*** | 国省代码： | 暂无信息 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本申请实施例公开了词库生成方法及装置、短文本检测方法及装置。所述词库生成方法包括：获取短文本集合和第一词集合，所述短文本集合是根据语料的黑样本得到，所述第一词集合是对语料的白样本分词得到；对所述短文本集合中的短文本进行循环分词，得到所述短文本对应的第二词集合；根据所述第一词集合和所述第二词集合，确定所述第二词集合中的词的权重；获得由所述第二词集合中的词及其权重构成的词库。利用本申请实施例，可以采用基于循环分词所生成的带词权重的词库，对用户设置的短文本进行检测，相比于现有技术，可以提高召回率，实用效果较好，可以更有效地利用处理资源。 | ||
| 搜索关键词： | 词库 生成 方法 装置 文本 检测 | ||
【主权项】：
一种词库生成方法，其特征在于，包括：获取短文本集合和第一词集合，所述短文本集合是根据语料的黑样本得到，所述第一词集合是对语料的白样本分词得到；对所述短文本集合中的短文本进行循环分词，得到所述短文本对应的第二词集合；根据所述第一词集合和所述第二词集合，确定所述第二词集合中的词的权重；获得由所述第二词集合中的词及其权重构成的词库。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司，未经阿里巴巴集团控股有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201710153105.4/，转载请声明来源钻瓜专利网。
- 上一篇：用于内容项转化的归因模型
- 下一篇：一种向汽车用户推荐汽车店的方法
