[发明专利]一种基于fastText算法的新闻文本自动分类系统

权利要求书

1.一种基于fastText算法的新闻文本自动分类系统，其特征在于，包括：新闻文本预处理模块，用于对通过爬虫爬取到的新闻文本进行筛选和清洗操作；中文分词及去停用词模块：用于对文本数据进行分词操作并通过停用词表去除对文本分类无意义的词；数字特征提取模块：用于将文本特征转化成数字特征；fastText分类器模块：用于通过fastText算法进行多分类模型的构建，将每段新闻文本预测分类为对应的类别。

2.根据权利要求1所述的基于fastText算法的新闻文本自动分类系统，其特征在于，所述新闻文本预处理模块通过正则表达式来对html标签进行匹配来抽取实现新闻文本的筛选和清洗。

3.根据权利要求1所述的基于fastText算法的新闻文本自动分类系统，其特征在于，所述中文分词及去停用词模块采用jieba分词器对新闻文本进行分词，对分完词之后的文本数据再通过内置的哈工大停用词表进行去停用词处理。

4.根据权利要求1所述的基于fastText算法的新闻文本自动分类系统，其特征在于，所述数字特征提取模块采用词向量模型word2vec对每个词构建300维的高维向量，并通过one-hot方式进行编码将类别转化成数字特征，其中，词向量模型word2vec的训练文本数据来源于中文维基百科。

5.根据权利要求1所述的基于fastText算法的新闻文本自动分类系统，其特征在于，所述fastText分类器模块通过载入预训练好的fastText模型进行多分类模型的构建，其中，所述fastText模型的输入是一个词的序列，输出是这个词序列属于不同类别的概率；所述fastText模型将一系列单词作为输入并产生一个预定义类的概率分布；使用一个softmax方程来计算概率，当数据量巨大时，fastText使用基于霍夫曼编码树的分层softmax方法进行计算。