[发明专利]一种基于fastText算法的新闻文本自动分类系统

说明书

本发明涉及一种基于fastText算法的新闻文本自动分类系统，包括：新闻文本预处理模块，用于对通过爬虫爬取到的新闻文本进行筛选和清洗操作；中文分词及去停用词模块：用于对文本数据进行分词操作并通过停用词表去除对文本分类无意义的词；数字特征提取模块：用于将文本特征转化成数字特征；fastText分类器模块：用于通过fastText算法进行多分类模型的构建，将每段新闻文本预测分类为对应的类别。本发明能够对新闻文本自动归类。

技术领域

本发明涉及新闻文本自动分类技术领域，特别是涉及一种基于fastText算法的新闻文本自动分类系统。

背景技术

随着网络信息技术的迅速发展和传统纸媒逐渐向信息化媒体的转型，网络中有越来越多的信息积累，尤其是新闻的无纸化使得人们更倾向于在网络上搜索信息。其中大部分是以文本形式存在。文本分类则能有效解决这一问题，而传统的文本分类主要使用手工分类的途径，这种做法有着很多的弊处：首先，这样会耗费大量的人力、物力；其次，存在获得的成果与所要求的不一致的现象。效率低下的手工分类方式面临愈来愈多的困难，面对大数据更显得无从下手，为了提高分类的准确率和速度，新闻文本自动分类顺理成章地成为了发展方向。

国内外研究新闻文本自动分类开始的比较早。相关研究最早可以追溯到上世纪50年代，当时是通过专家规则进行分类，甚至在80年代初一度发展到利用知识工程建立专家系统，这种做法不仅费时费力，而且覆盖的范围和准确率都非常有限。后来伴随着统计学习方法的发展，特别是90年代后互联网在线文本数量增加和机器学习学科的兴起，逐渐形成了一套解决大规模文本分类问题的经典方法，这个阶段的主要套路是人工特征工程加浅层传统分类模型。但是这些传统做法主要问题是文本表示太稀疏而且高纬度，特征表达能力不强，此外还需要人工进行特征工程，成本很高。随着深度学习在图像和语音领域取得巨大成功，人们也慢慢将深度学习应用于自然语言处理领域，使得深度学习神经网络有效的应用于新闻文本自动分类领域。

发明内容

本发明所要解决的技术问题是提供一种基于fastText算法的新闻文本自动分类系统，能够对新闻文本自动归类。

本发明解决其技术问题所采用的技术方案是：提供一种基于fastText算法的新闻文本自动分类系统，包括：新闻文本预处理模块，用于对通过爬虫爬取到的新闻文本进行筛选和清洗操作；中文分词及去停用词模块：用于对文本数据进行分词操作并通过停用词表去除对文本分类无意义的词；数字特征提取模块：用于将文本特征转化成数字特征；fastText分类器模块：用于通过fastText算法进行多分类模型的构建，将每段新闻文本预测分类为对应的类别。

所述新闻文本预处理模块通过正则表达式来对html标签进行匹配来抽取实现新闻文本的筛选和清洗。

所述中文分词及去停用词模块采用jieba分词器对新闻文本进行分词，对分完词之后的文本数据再通过内置的哈工大停用词表进行去停用词处理。

所述数字特征提取模块采用词向量模型word2vec对每个词构建300维的高维向量，并通过one-hot方式进行编码将类别转化成数字特征，其中，词向量模型word2vec的训练文本数据来源于中文维基百科。

所述fastText分类器模块通过载入预训练好的fastText模型进行多分类模型的构建，其中，所述fastText模型的输入是一个词的序列，输出是这个词序列属于不同类别的概率；所述fastText模型将一系列单词作为输入并产生一个预定义类的概率分布；使用一个softmax方程来计算概率，当数据量巨大时，fastText使用基于霍夫曼编码树的分层softmax方法进行计算。

有益效果

由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明可用于对新闻文本自动归类，使得用户可以快速的对同类型的新闻进行浏览。

附图说明