[发明专利]基于机器学习的自动文本分类方法

说明书

本发明涉及自然语言处理技术领域，具体涉及一种基于机器学习的自动文本分类方法。包括以下环节：S1：文本数据预处理：首先删除文本标记，然后分别对英文和中文语句进行切分；S2：文本表示：将中文语言的文本进行翻译，转换成能够被计算机识别并处理的二进制语言；S3：特征降维：首先利用TF‑IDF权值计算方法过滤掉一部分权值较低的词项，然后采用XGBoost算法对于剩余部分词项进行筛选；S4：分类模型：通过线性核+高斯核线对上述特征集合进行分类，建立模型；S5：分类性能评估。本发明主要解决了垃圾语言对网络造成不良影响的问题。本发明主要用于对网络语言的筛选。

技术领域

本发明涉及自然语言处理技术领域，具体涉及一种基于机器学习的自动文本分类方法。

背景技术

本发明对文本分类以及处理过程中的重点环节都展开了较详细地分析，讨论了去停用词、中文分词步骤及常用工具，对于其中两个重点环节特征降维以及构造分类模型更是进行了深入研究，在这过程中，对常见的特征选取算法和分类算法都进行了技术总结和分析优劣，并为后续内容进行方案上的改进提供基础支持，分析讨论了卡方以及互信息的特征选取算法，并对TF-IDF权重计算方法也进行了分析。

针对卡方统计算法和互信息算法的处理缺陷提出改进，形成了一种新算法；另外，还针对TF-IDF算法存在的局限也进行了改进，通过引入卡方以及XGBoost算法分别进行了算法和方法流程上的优化改进，又形成了两种改进的特征选取算法，并完成了改进特征选取算法的实验设计和结果分析。并针对SVM算法进行改进，具体是通过研究SVM算法常用的核函数进行展开，首先将一些常用核函数按照全局或者局部核函数进行分类。基于常用核函数的SVM 算法针对新闻数据集分类实验中存在的明显缺陷提出改进了办法，最后在综合利用全局以及局部核函数的优势前提下实现了新的混合核函数，形成线性核与高斯核线性结合的混合核函数。

发明内容

本发明的目的在于提供一种基于机器学习的自动文本分类方法。

为实现上述目的，本发明提供如下技术方案：基于机器学习的自动文本分类方法，包括以下环节：

S1：文本数据预处理：首先删除文本标记，然后分别对英文和中文语句进行切分；

S2：文本表示：将中文语言的文本进行翻译，转换成能够被计算机识别并处理的二进制语言；

S3：特征降维：首先利用TF-IDF权值计算方法过滤掉一部分权值较低的词项，然后采用 XGBoost算法对于剩余部分词项进行筛选，从而得到最终的特征词集合；

S4：分类模型：首先利用SVM将一些常用核函数按照全局或者局部核函数进行分类，然后综合利用全局以及局部核函数的优势前提下实现了新的混合核函数，即形成线性核+高斯核线，最后通过线性核+高斯核线对上述特征集合进行分类，建立模型；

S5：分类性能评估。

所述S1步骤中的英文语句的切分方式为：将英文语句中存在空格或者标点符号的位置作为一个分割点，进行切分；

所述S1步骤中中文语句的切分方式为：首先应识别出中文语句中存在的标点符号或者某些汉语文字，并在这些出现位置上通过添加分隔符实现切分效果并得到切分后的词条内容。

所述中文文句切分方式中分隔符一般采用空格符，因此需要在这步骤中对停用词和功能词进行额外删除。

所述S3步骤中的公式为：

所述公式中tf是词频因子，具体是指该特征关键词在某一文本中的出现次数与文本总的词语数，N是指训练文本数据集的文本数量；利用上式计算多文本分类中词项的权值结果时，最后结果保留ω(ti，cj)的最大值。

所述步骤3中XGBoost算法是对梯度提升算法的另一种改进，具体体现在XGBoost损失函数对误差部分进行了二阶泰勒展开。