[发明专利]文章主题挖掘方法和装置及计算机可读存储介质

权利要求书

1.一种文章主题挖掘方法，包括：

将检测集中待检测的文章表示为文章向量；

将文章向量输入聚类机器学习模型得到所述文章的主题概率分布；

根据所述文章的主题概率分布，在最大概率与第二大概率之间的差距小于预设阈值的情况下，根据最大概率的主题和第二大概率的主题形成所述文章的复合主题。

2.如权利要求1所述的方法，其中，

根据所述文章的主题概率分布，在最大概率与第二大概率之间的差距不小于预设阈值的情况下，将最大概率的主题确定为所述文章的主题。

3.如权利要求1所述的方法，其中，所述检测集中包括多篇待检测的文章，所述检测集被划分为多个弹性分布式检测集，所述聚类机器学习模型被设置为广播变量；

在每个弹性分布式检测集中调用所述广播变量中的聚类机器学习模型，并行确定各个文章的主题概率分布和主题。

4.如权利要求1所述的方法，

将训练集中的文章表示为文章向量，输入聚类机器学习模型对聚类机器学习模型进行训练；

其中，所述训练集中包括多篇文章，所述训练集被划分为多个弹性分布式训练集，所述聚类机器学习模型被设置为广播变量；

在每个弹性分布式训练集中调用所述广播变量中的聚类机器学习模型，并行对聚类机器学习模型进行训练。

5.如权利要求1-4任一项所述的方法，其中，文章向量表示为文章的标签词矩阵，文章的标签词根据分词词库对文章进行分词产生，所述分词词库中包括根据应用场景构建的自定义词语。

6.如权利要求1-4任一项所述的方法，其中，文章向量表示为文章的标签词矩阵，矩阵的元素为标签词的词频与逆向文件频率的乘积。

7.如权利要求1所述的方法，其中，所述聚类机器学习模型包括:隐含狄利克雷分布LDA模型、K-means聚类模型。

8.一种文章主题挖掘装置，包括：

文本特征工程模块，用于将检测集中待检测的文章表示为文章向量；

模型处理模块，用于将文章向量输入聚类机器学习模型得到所述文章的主题概率分布；

主题挖掘模块，用于根据所述文章的主题概率分布，在最大概率与第二大概率之间的差距小于预设阈值的情况下，根据最大概率的主题和第二大概率的主题形成所述文章的复合主题。

9.如权利要求8所述的装置，其中，

所述主题挖掘模块，还用于根据所述文章的主题概率分布，在最大概率与第二大概率之间的差距不小于预设阈值的情况下，将最大概率的主题确定为所述文章的主题。

10.如权利要求8所述的装置，其中，所述检测集中包括多篇待检测的文章，所述检测集被划分为多个弹性分布式检测集，所述聚类机器学习模型被设置为广播变量；

所述模型处理模块包括：分布式处理单元一，用于在每个弹性分布式检测集中调用所述广播变量中的聚类机器学习模型，并行确定各个文章的主题概率分布和主题。

11.如权利要求8所述的装置，所述装置还包括：

训练模块，用于将训练集中的文章表示为文章向量，输入聚类机器学习模型对聚类机器学习模型进行训练；

其中，所述训练集中包括多篇文章，所述训练集被划分为多个弹性分布式训练集，所述聚类机器学习模型被设置为广播变量；

所述训练模块包括：分布式处理单元二，用于在每个弹性分布式训练集中调用所述广播变量中的聚类机器学习模型，并行对聚类机器学习模型进行训练。

12.如权利要求8-11任一项所述的装置，其中，文章向量表示为文章的标签词矩阵；文章的标签词根据分词词库对文章进行分词产生，所述分词词库中包括根据应用场景构建的自定义词语；矩阵的元素为标签词的词频与逆向文件频率的乘积。