[发明专利]基于LDA和word2vec算法的新闻文本分类方法

摘要

本发明公开了一种基于LDA和word2vec算法的新闻文本分类方法，包括：通过word2vec获得语料库词向量；将训练样本集中的文本分词、去除停用词；通过LDA模型获得训练样本集的类别核心词；构造训练样本集的类别中心向量；对待分类文本进行预处理后，提取文本特征词，获得待分类文本的文本向量；对待分类文本的文本向量和训练样本集的类别中心向量进行相似度计算，对待分类文本进行分类；用KNN算法对待分类文本进行二次分类。本发明的有益效果：将待分类文本的特征向量与类中心向量进行相似度计算进行初次分类，大大降低了计算量，当初次分类不足以明确划分类别时，用KNN算法进行二次分类，在新样本集中等量抽取类别样本，消除样本分布不均对分类准确率造成的影响。

主权项

一种基于LDA和word2vec算法的新闻文本分类方法，其特征在于，包括：步骤1，通过word2vec工具获得语料库的词向量：将大规模的语料库进行分词处理，将分词后的文本输入word2vec工具，训练得到语料库中各个词的词向量；步骤2，对训练样本集进行文本预处理：将训练样本集中的文本进行分词、去除停用词；步骤3，通过LDA主题模型，获得训练样本集的类别核心词：在训练样本集的各个类别上分别训练LDA主题模型，训练样本集在LDA主题模型下训练后得到各个类别的文本‑主题和主题‑词的概率分布，根据LDA主题模型输出结果，将各个类别中最大主题下概率值大于阈值α的词作为该类别的核心词；步骤4，通过类别核心词的词向量ai，构造训练样本集的类别中心向量ci；步骤5，对待分类文本进行预处理后，提取文本特征词，获得待分类文本的文本向量dj；步骤6，对待分类文本的文本向量和训练样本集的类别中心向量进行相似度计算，并对相似度值降序排序，根据排序对待分类文本进行初次分类，当降序排序中前两个似度值之间的差值小于阈值ε时，进行步骤7；步骤7，采用KNN算法对待分类文本进行二次分类。