[发明专利]一种文本匹配方法及装置有效
申请号: | 201010290693.4 | 申请日: | 2010-09-20 |
公开(公告)号: | CN102411583A | 公开(公告)日: | 2012-04-11 |
发明(设计)人: | 张旭;苏宁军;顾海杰;祁建程 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27 |
代理公司: | 北京同达信恒知识产权代理有限公司 11291 | 代理人: | 郭润湘 |
地址: | 英属开曼群岛大开曼*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 匹配 方法 装置 | ||
1.一种文本匹配方法,其特征在于,包括:
周期性收集用户发布的内容信息,根据当前周期内收集的内容信息得到当前周期内的新增文本并存储到数据库中;
对输入的新增文本进行分词,并提取关键词;根据预先存储的词频表计算提取的每个关键词在数据库中的各文本中的权重;所述词频表根据各个词语在数据库中的各文本中的出现频率周期性更新;数据库中的文本包括当前周期存储的新增文本和之前存储的原始文本;
根据计算得到的每个关键词在数据库中的各文本中的权重,计算每个新增文本与数据库中的各文本的相似度,或计算数据库中任意两个文本的相似度;
根据计算得到的相似度确定数据库中存储的各文本的相关文本。
2.如权利要求1所述的方法,其特征在于,所述词频表根据各个关键词在数据库中的各文本中的出现频率周期性更新,具体包括:
每次输入新增文本后,统计各个词语在输入的新增文本和数据库中存储的原始文本中的出现的频率,得到包含各个词语在数据库中的每个文本中的出现频率的的词频表;或
每次输入新增文本后,统计各个词语在输入的每个新增文本中的出现的频率,根据统计得到的结果与词频表中存储的各个词语在数据库中的存储的原始文本中的出现频率,得到包含各个词语在数据库中的每个文本中的出现频率的的词频表。
3.如权利要求2所述的方法,其特征在于,所述根据预先存储的词频表计算分词得到的每个关键词在数据库中各文本中的权重,具体包括:
根据词频表,分别确定选定关键词在数据库中每个文本中的出现次数;以及
确定数据库中的存储的文本与包含有选定关键词的文本的数量比;
根据选定关键词在每个文本中的出现次数和所述数量比,分别计算每个关键词在每个文本中的权重。
4.如权利要求1所述的方法,其特征在于,所述计算每个新增文本与数据库中的各文本的相似度,或计算数据库中任意两个文本的相似度,具体包括:
将待计算相似度的文本中的每个关键词的权重组成权重向量;
针对每个新增文本,分别计算该新增文本的权重向量与数据库中存储的各文本的权重向量的内积,得到该新增文本与数据库中存储的各文本的相似度;或针对数据库中存储的每个文本,分别计算该文本的权重向量与数据库中存储的各文本的权重向量的内积,得到该文本与数据库中存储的各文本的相似度。
5.如权利要求1所述的方法,其特征在于,所述根据计算得到的相似度确定数据库中存储的各文本的相关文本,具体包括:
针对待确定相关文本的每个文本,确定与该文本的相似度大于或大于等于设定阈值的至少一个数据库中存储的文本为该文本的相关文本;或
针对待确定相关文本的每个文本,根据数据库中各文本与待确定相关文本的文本的相似度大小排序,确定相似度较高的设定数量的数据库中存储的文本作为待确定相关文本的文本的相关文本。
6.如权利要求1-5任一所述的方法,其特征在于,所述根据计算得到的相似度确定数据库中存储的各文本的相关文本之前,还包括:
根据计算得到的每个新增文本与数据库中的每个文本的相似度,或计算得到的数据库中任意两个文本的相似度;对待确定相关文本的新增文本或数据库中存储的文本相关的相似度数据进行过滤,去除与待确定相关文本的新增文本或数据库中存储的文本相似度小于设定阈值的文本,或去除与待确定相关文本的新增文本或数据库中存储的文本相似度较低的设定数量的文本。
7.如权利要求1-5任一所述的方法,其特征在于,所述根据当前周期内收集的内容信息得到当前周期内的新增文本之前,还包括:
根据设定的输入过滤规则,对当前周期内收集到用户发布的内容信息进行过滤,根据过滤后内容信息得到当前周期内的新增文本。
8.如权利要求7所述的方法,其特征在于,所述根据设定的输入过滤规则,对当前周期内收集到用户发布的内容信息进行过滤,具体包括:
根据内容信息的质量是否符合设定的质量评估阈值和/或发布内容信息的用户是否是设定的合格用户,对所述收集到的内容信息进行过滤。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201010290693.4/1.html,转载请声明来源钻瓜专利网。
- 上一篇:小功率LED灯具照明系统
- 下一篇:移动终端以及移动终端的时间更新方法