[发明专利]文章分类方法、装置、计算机设备及存储介质

权利要求书

1.一种文章分类方法，其特征在于，包括：

将待打标签文章对应的词语-文档矩阵输入至预先构建的LDA模型进行训练，得到对应的主题-词语矩阵及文档-主题矩阵；

通过文档-主题矩阵，获取与待打标签文章中每一文档对应的主题，并对每一文档对应增加主题标签，得到已打标签文章；

按主题标签对已打标签文章进行分类，得到文章分类结果；

所述将待打标签文章对应的词语-文档矩阵输入至预先构建的LDA模型进行训练，得到对应的主题-词语矩阵及文档-主题矩阵之前，还包括：

对待打标签文章进行分词，得到分词后文本；

对分词后文本包括的分词一一设置加权值；

删除分词后文本中的停用词，并统计各分词的词频，得到第一三元组；

获取第一三元组中词频大于预设词频阈值所对应的分词之间的词语相似度；

若分词之间的词语相似度大于预设词语相似度阈值，保留其中任意一个分词，得到第二三元组，并将第二三元组作为预处理文本；

根据预处理文本中所包括词语，及与每一词语的词频，获取词语-文档矩阵；

其中，对待打标签文章进行分词是基于概率统计模型进行分词，得到分词后文本。

2.根据权利要求1所述的文章分类方法，其特征在于，所述LDA模型为：

其中，θ是主题向量，z是主题，w是单词，p(θ，z，w|α，β)是词语-文档矩阵对应的概率分布矩阵，p(θ|α)是θ关于α的狄利克雷分布，p(z_n|θ)是主题-词语矩阵对应的概率分布矩阵，p(w_n|z_n，β)是主题-文档矩阵对应的概率分布矩阵，α和β分别是LDA模型从给定的输入语料中学习训练得到第一控制参数、及第二控制参数。

3.根据权利要求1所述的文章分类方法，其特征在于，所述对待打标签文章进行分词，得到分词后文本之前，还包括：

爬取待打标签文章，并将待打标签文章传输至指定路径存储。

4.根据权利要求2所述的文章分类方法，其特征在于，所述LDA模型中将w当做观察变量，θ和z当做隐藏变量，通过最大期望算法学习得到第一控制参数α、及第二控制参数β。

5.一种文章分类装置，其特征在于，包括：

LDA模型训练单元，用于将待打标签文章对应的词语-文档矩阵输入至预先构建的LDA模型进行训练，得到对应的主题-词语矩阵及文档-主题矩阵；

主题标签增加单元，用于通过文档-主题矩阵，获取与待打标签文章中每一文档对应的主题，并对每一文档对应增加主题标签，得到已打标签文章；

文章分类单元，用于按主题标签对已打标签文章进行分类，得到文章分类结果；

所述文章分类装置，还包括：

分词单元，用于对待打标签文章进行分词，得到分词后文本；

加权单元，用于对分词后文本包括的分词一一设置加权值；

统计单元，用于删除分词后文本中的停用词，并统计各分词的词频，得到第一三元组；

相似度获取单元，用于获取第一三元组中词频大于预设词频阈值所对应的分词之间的词语相似度；

删词单元，用于若分词之间的词语相似度大于预设词语相似度阈值，保留其中任意一个分词，得到第二三元组，并将第二三元组作为预处理文本；

词语-文档矩阵获取单元，用于根据预处理文本中所包括词语，及与每一词语的词频，获取词语-文档矩阵；

其中，所述分词单元中对待打标签文章进行分词是基于概率统计模型进行分词，得到分词后文本。

6.根据权利要求5所述的文章分类装置，其特征在于，所述LDA模型为：

其中，θ是主题向量，z是主题，w是单词，p(θ，z，w|α，β)是词语-文档矩阵对应的概率分布矩阵，p(θ|α)是θ关于α的狄利克雷分布，p(z_n|θ)是主题-词语矩阵对应的概率分布矩阵，p(w_n|z_n，β)是主题-文档矩阵对应的概率分布矩阵，α和β分别是LDA模型从给定的输入语料中学习训练得到第一控制参数、及第二控制参数。