[发明专利]一种文本分类方法有效
申请号: | 201410377112.9 | 申请日: | 2014-08-01 |
公开(公告)号: | CN104142998A | 公开(公告)日: | 2014-11-12 |
发明(设计)人: | 石民勇;王永滨;洪志国;尚松涛;陈秀霞 | 申请(专利权)人: | 中国传媒大学 |
主分类号: | G06F17/30 | 分类号: | G06F17/30 |
代理公司: | 北京汇信合知识产权代理有限公司 11335 | 代理人: | 夏静洁 |
地址: | 100024 北京市朝阳*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 分类 方法 | ||
1.一种文本分类方法,其特征在于,包括以下步骤:
步骤1,建立用于文本分类的基准测试数据集,并将该基准测试数据集随机划分为训练文本和测试文本:
步骤2,将所述基准测试数据集采用向量空间模型建立文本表示模型;
步骤3,根据所述文本表示模型建立分类决策模型:
其中,n是文本矢量的维数;d是待分类的测试文本;cj是第j类;是类别j中训练文本的总数;sim(cj|d)是待分类的测试文本d与类别j中各个文本相似度之和;weight(wt)是单词wt经加权算法算出的权值,是单词wt经基尼指数公式后得到的概率;
步骤4,建立决策规则,该决策规则为:如果则决策d∈cj;
步骤5,根据上述分类决策模型和决策规则采用IGIC分类器对所述基准测试数据集进行训练学习,得到分类结果。
2.如权利要求1所述的文本分类方法,其特征在于,
所述基准测试数据集为属于国际英文标准数据集的20news-bydate,其按照日期进行分类,其中的60%做为训练集,40%做为测试集,不包括重复文本。
3.如权利要求1所述的文本分类方法,其特征在于,还包括步骤6:
采用指定评价指标对所述分类结果进行评价,若评价结果不符合分类要求时,调整步骤3中的各项参数。
4.如权利要求3所述的文本分类方法,其特征在于,评价方法为:
针对单个类的分类结果使用查全率、查准率或F-Measure进行评价;
针对多个类的分类结果利用宏平均和微平均将每个类上的评价结果综合起来进行评价。
5.如权利要求1所述的文本分类方法,其特征在于,
所述步骤3中采用TF-IDF算法进行权重调节,基准测试数据集为中文数据集的,维数取2000,基准测试数据集为英文数据集的,维数取1000。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于中国传媒大学,未经中国传媒大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201410377112.9/1.html,转载请声明来源钻瓜专利网。