[发明专利]一种对于文本智能分类的方法有效
申请号: | 201110278817.1 | 申请日: | 2011-09-19 |
公开(公告)号: | CN102289522A | 公开(公告)日: | 2011-12-21 |
发明(设计)人: | 吕福军;李军锋;李跃海 | 申请(专利权)人: | 北京金和软件股份有限公司 |
主分类号: | G06F17/30 | 分类号: | G06F17/30;G06F17/27 |
代理公司: | 北京远大卓悦知识产权代理事务所(普通合伙) 11369 | 代理人: | 史霞 |
地址: | 100093 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 对于 文本 智能 分类 方法 | ||
1.一种对文本进行智能分类的方法,其特征在于,包括以下步骤:
步骤一、准备一定数量的训练文本,并将这些训练文本分成多个类别;
步骤二、对每一件训练文本通过中文分词算法进行分词,并根据分词的特征属性,计算各分词的权重值W;
步骤三、将所有训练文本中的所有分词的权重值统一进行排序,并取权重值位于前N名的N个分词作为特征项,各特征项均具有自己的权重值Wi(i=1~N);
步骤四、将任意一件训练文本中所有分词与上述N个特征项进行比对,形成文本向量{a1,a2,a3…ai…aN},在该文本向量中,未匹配到该件训练文本中的任一个分词的第i个特征项对应的ai值被定义为一个统一的数值B,而匹配到该件训练文本中的一个分词的第i个特征项对应的ai值被定义为与该第i个特征项的权重值Wi相关的数值;
步骤五、建立训练文本向量数据库,其中存储有包含各训练文本的识别码、所属类别和文本向量信息;
步骤六、取待分类文本,进行中文算法分词处理,随后根据上述N个特征项形成文本向量;
步骤七、将待分类文本的文本向量与训练文本的文本向量进行比较,找出最相似的训练文本,将待分类文本划入最相似的训练文本所属的类别。
2.如权利要求1所述的对文本进行智能分类的方法,其特征在于,在所述步骤二中,分词的特征属性包括分词的词性、词频和词长。
3.如权利要求1所述的对文本进行智能分类的方法,其特征在于,在所述步骤三中,N为1000。
4.如权利要求1所述的对文本进行智能分类的方法,其特征在于,在所述步骤四中,统一的数值B为0。
5.如权利要求1所述的对文本进行智能分类的方法,其特征在于,在所述步骤四中,与该第i个特征项的权重值Wi相关的数值为:相匹配的分词在该件训练文本中出现的频率x该第i个特征项的权重值Wi。
6.如权利要求1所述的对文本进行智能分类的方法,其特征在于,在所述步骤七中,通过余弦相似度算法从训练文本向量数据库中找到最相似的文本向量。
7.如权利要求1所述的对文本进行智能分类的方法,其特征在于,所有文本向量和分词结果均保存在计算机内存中。
8.如权利要求1所述的对文本进行智能分类的方法,其特征在于,所有文本保存为TXT格式。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京金和软件股份有限公司,未经北京金和软件股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201110278817.1/1.html,转载请声明来源钻瓜专利网。