[发明专利]文本分类方法及服务器有效
申请号: | 201410171389.6 | 申请日: | 2014-04-25 |
公开(公告)号: | CN105095223B | 公开(公告)日: | 2018-09-11 |
发明(设计)人: | 焦盼盼 | 申请(专利权)人: | 阿里巴巴集团控股有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27 |
代理公司: | 北京亿腾知识产权代理事务所 11309 | 代理人: | 戴燕 |
地址: | 英属开曼群岛大开*** | 国省代码: | 开曼群岛;KY |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 文本 分类 方法 服务器 | ||
1.一种文本分类方法,其特征在于,所述方法包括:
对获取到的待分类文本进行预处理,以获取所述待分类文本的至少一个文本特征词;
根据所述文本特征词,对所述待分类文本进行类别划分,以获取所述待分类文本的一定个数候选类别;
根据所述文本特征词在预存储的倒排索引表中,确定第一文本内容标识集合,所述第一文本内容标识集合中包括多个与所述文本特征词相似的文本内容对应的文本内容标识,所述倒排索引表是根据最邻近结点算法预设置的训练数据集合构建的,其包含特征属性索引项和与每个特征属性对应的至少一个文本内容标识;
根据所述第一文本内容标识集合,在所述预设置的训练数据集合中确定第一文本内容集合,所述训练数据集合中包括样本文本内容标识、样本文本内容以及每条所述样本文本内容对应的所属类别;
在所述第一文本内容集合中,根据所述一定个数候选类别,选择N个候选类别对应的文本内容,来确定第二文本内容集合;
根据所述文本特征词与所述第二文本集合中的每条文本内容的相似度,确定所述待分类文本的目标类别。
2.如权利要求1所述的方法,其特征在于,所述对获取到的文本进行预处理,以获取所述文本的至少一个文本特征词;之后,还包括:
查找所述文本特征词对应的数字编码。
3.如权利要求2所述的方法,其特征在于,所述根据所述文本特征词与所述第二文本集合中的每条文本内容的相似度,确定所述待分类文本的目标类别,具体包括:
根据所述文本特征词的数字编码计算与每条文本内容的数字编码的相似度;
根据所述相似度,对所述第二文本集合中的每条文本内容进行排序;
选取排序最高的文本内容对应的类别,作为所述待分类文本的目标类别。
4.如权利要求1所述的方法,其特性在于,所述对获取到的待分类文本进行预处理,以获取所述待分类文本的至少一个文本特征词;具体包括:
对所述待分类文本进行分词、过滤词以及同义词合并处理。
5.如权利要求1所述的方法,其特征在于,所述对所述文本进行类别划分具体为利用支持向量机的分类方法。
6.如权利要求1所述的方法,其特征在于,所述根据所述文本特征词与所述第二文本集合中的每条文本内容的相似度,确定所述待分类文本的目标类别,具体包括:
分别计算所述文本特征词与第二文本集合中每条文本内容的相似度;
根据所述相似度,确定至少一个最相似的文本内容;
对所述至少一个最相似的文本内容中,每个文本内容所属类别进行打分;
选定得分最高的一个类别,作为所述文本的目标类别。
7.如权利要求6所述的方法,其特征在于,所述对所述至少一个最相似的样本文本内容中,每个样本文本内容所属类别进行打分;具体包括:
根据所述至少一个最相似的文本内容中全部文本内容对应的类别中,每个类别包含是文本内容条数,对每条文本内容所述类别进行打分。
8.如权利要求1所述的方法,其特征在于,所述对获取到的待分类文本进行预处理,以获取所述待分类文本的至少一个文本特征词;之前还包括:
获取所述待分类文本,所述待分类文本为需要服务器分类的文本信息。
9.如权利要求8所述的方法,其特征在于,所述获取所述待分类文本,具体包括:
接收文本分析请求,并在所述文本分析请求中获取所述待分类文本。
10.如权利要求8所述的方法,其特征在于,所述获取所述待分类文本,具体包括:
通过客户端接收用户上传的文本信息,并在所述文本信息中获取所述待分类文本。
11.一种服务器,其特征在于,包括:
预处理单元,用于对获取到的待分类文本进行预处理,以获取所述待分类文本的至少一个文本特征词;
获取单元,用于根据所述文本特征词,对所述待分类文本进行类别划分,以获取所述待分类文本的一定个数候选类别;
第一确定单元,用于根据所述文本特征词在预存储的倒排索引表中,确定第一文本内容标识集合,所述第一文本内容标识集合中包括多个与所述文本特征词相似的文本内容对应的文本内容标识,所述倒排索引表是根据最邻近结点算法预设置的训练数据集合构建的,其包含特征属性索引项和与每个特征属性对应的至少一个文本内容标识;
第二确定单元,用于根据所述第一文本内容标识集合,在所述预设置的训练数据集合中确定第一文本内容集合,所述训练数据集合中包括样本文本内容标识、样本文本内容以及每条所述样本文本内容对应的所属类别;
第三确定单元,用于在所述第一文本内容集合中,根据所述一定个数候选类别,选择N个候选类别对应的文本内容,来确定第二文本内容集合;
第四确定单元,用于根据所述文本特征词与所述第二文本集合中的每条文本内容的相似度,确定所述待分类文本的目标类别。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于阿里巴巴集团控股有限公司,未经阿里巴巴集团控股有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410171389.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种社交消息的监测方法及装置
- 下一篇:数据发送装置和方法