[发明专利]一种文本分类方法有效
申请号: | 201710333445.5 | 申请日: | 2017-05-12 |
公开(公告)号: | CN107169086B | 公开(公告)日: | 2020-10-27 |
发明(设计)人: | 脱建勇;王海亮;闫硕 | 申请(专利权)人: | 北京化工大学 |
主分类号: | G06F16/35 | 分类号: | G06F16/35 |
代理公司: | 北京五月天专利商标代理有限公司 11294 | 代理人: | 吴宝泰 |
地址: | 100029 *** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 文本 分类 方法 | ||
1.一种文本分类方法,其特征在于,
基于训练文本的文本向量训练文本分类器;构建待测文本的文本向量,将待测文本的文本向量输入至已训练的文本分类器中,进行文本分类;所述训练文本的文本向量和待测文本的文本向量均通过如下方法获得:
步骤1:对标注文本进行预处理,特征选择,进行词向量训练;
步骤2:根据步骤1所得词向量,计算文本的全局向量和局部向量;
步骤3:根据步骤2所得全局向量和局部向量,计算文本向量;
步骤2中,构建文本的全局向量,采用向量加和平均方法获得,公式如下:
式中,vj表示词语对应的词向量,N表示该文本的单词数;
步骤2中,构建文本的局部向量,采用向量每个维度取最大的方法,公式如下:
v(i)=max vw(i)
式中,v表示词语对应的词向量,w表示所有单词,i表示第i个维度;
步骤3中,计算文本向量时,将文本的全局向量和局部向量通过加权并联在一起获得文本向量,公式如下:
该公式中,VL表示所求文本的局部向量,VG表示所求文本的全局向量;w1,w2表示权重;
步骤3中,权重通过网格搜索获得。
2.根据权利要求1所述的文本分类方法,其特征在于:
步骤1中,文本的特征选择基于信息增益方法获得。
3.根据权利要求1或2所述的文本分类方法,其特征在于:文本分类器选用SVM文本分类器,核函数选取线性核函数。
4.根据权利要求3所述的文本分类方法,其特征在于:步骤1中,预处理时,使用分词工具对文本进行分词,获得文本词集;通过Word2Vec工具训练词向量。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京化工大学,未经北京化工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710333445.5/1.html,转载请声明来源钻瓜专利网。
- 上一篇:一种数据搜索系统
- 下一篇:预警信息展示方法和预警信息展示装置