[发明专利]一种基于TF-IDF和CNN启发式短文本特征提取与分类方法

说明书

本专利公开发明了一种基于TF‑IDF和CNN启发式短文本特征提取与分类方法，首先对短文本集用结巴分词工具实现中文的文本分词，然后去除文本噪声词，得到文本数据集UNION，其次使用TF‑IDF特征选择方法处理文本数据集UNION，得出选择后的文本特征值VALUE1，将VALUE1导入到卷积神经网络模型，集成标签并且生成批处理迭代器M，接着使用嵌入层、卷积层、池化层和softmax方法搭建CNN神经网络文本分类模型，导入M到模型中，然后配置训练集模型的超参数和训练参数，给出训练集每1步和测试集每100步的损失函数和准确度，生成训练模型MODEL，最后将待分类短文本集进行预处理之后，得到数据集VALUE2，导入MODEL到预测模型，得出分类结果。本发明不仅节约了计算时间，而且准确率高。

技术领域

本发明属于文本分类技术领域，特别涉及一种基于TF-IDF和CNN启发式短文本特征提取与分类方法。

背景技术

建设工程图纸错误分类方法对图审系统人员评价建设工程图纸的设计质量有着重要的作用和意义。目前人工的错误分类方法已经不能满足数据量急剧攀升的任务需求，一种自动实现错误分类的方法亟待解决。近年来，研究者提出了相应的文本分类方法，如朴素贝叶斯、LSTM、卷积神经网络等。

朱全银等人已有的研究基础包括：朱全银，严云洋，周培，谷天峰.一种基于线性插补与自适应滑动窗口的商品价格预测模型.山东大学学报.2012，Vol.42(5):53-58；朱全银，潘禄，刘文儒，李翔，张永军，刘金岭.Web科技新闻分类算法.淮阴工学院学报,2015,Vol.24(5):23-27；Quanyin Zhu,Sunqun Cao.A Novel Classifier-independent FeatureSelection Algorithm for Imbalanced Datasets.2009,p:77-82；Quanyin Zhu,SuqunCao,Pei Zhou,Yunyang Yan,Hong Zhou.Integrated Price Forecast based onDichotomy Backfilling and Disturbance Factor Algorithm.International Reviewon Computers and Software,2011,Vol.6(6):1089-1093；朱全银等人申请、公开与授权的相关专利：朱全银，胡蓉静，何苏群，周培等.一种基于线性插补与自适应滑动窗口的商品价格预测方法.中国专利:ZL 2011 1 0423015.5,2015.07.01；朱全银，尹永华，严云洋，曹苏群等，一种基于神经网络的多品种商品价格预测的数据预处理方法.中国专利:ZL 201210325368.6；曹苏群，朱全银，左晓明，高尚兵等人，一种用于模式分类的特征选择方法.中国专利公开号：CN 103425994 A，2013.12.04；朱全银，严云洋，李翔，张永军等人，一种用于文本分类和图像深度挖掘的科技情报获取与推送方法.中国专利公开号:CN 104035997 A,2014.09.10。

TF-IDF：

TF-IDF算法是最广泛使用的特征选择和提取方法之一，在大量信息的检索中，TF-IDF通常被人们认作一种基于数字值的统计方法，目的是通过统计词汇在文档中的频率，来表达其重要性，它通常被用作检验文本重要信息的权重因子。其中N_i,j是文档D_j中第i个单词的呈现次数，分母表现文档D_j中单词的总数，|D|是语料库中文档的总数，{d_j∈D:t_i∈d_j}代表该语料库中包含了特征t_i的文件数量。

CNN：

目前常用的分类算法之一Convolutional Neural Network(CNN)，即卷积神经网络。