[发明专利]文章主题挖掘方法和装置及计算机可读存储介质

说明书

本公开公开了一种文章主题挖掘方法和装置及计算机可读存储介质，涉及计算机领域。其中的方法包括：将检测集中待检测的文章表示为文章向量；将文章向量输入聚类机器学习模型得到所述文章的主题概率分布；根据所述文章的主题概率分布，在最大概率与第二大概率之间的差距小于预设阈值的情况下，根据最大概率的主题和第二大概率的主题形成所述文章的复合主题。本公开基于聚类机器学习模型实现了一种自动挖掘文章主题的方案，可以减少人为因素的影响，提高文章主题挖掘地准确性，同时，对于主题不鲜明的文章，形成其复合主题，使得文章主题更具代表性。

技术领域

本公开涉及计算机领域，特别涉及一种文章主题挖掘方法和装置及计算机可读存储介质。

背景技术

在一些个性化推荐业务中，需要挖掘文章的主题，以便将用户偏好主题的文章推荐给用户。

目前底层基础数据提供一个文章所属的虚拟品类表，虚拟品类相当于文章主题，基于文章所属的虚拟品类为文章标识主题。

然而，虚拟品类表是由运营人员来维护，人的经验有一定的局限性，使得文章主题的准确性受到影响。

发明内容

本公开实施例所要解决的其中一个技术问题是，减少人为因素的影响，提高文章主题挖掘地准确性。

本公开的一个方面，提出一种文章主题挖掘方法，包括：

将检测集中待检测的文章表示为文章向量；

将文章向量输入聚类机器学习模型得到所述文章的主题概率分布；

根据所述文章的主题概率分布，在最大概率与第二大概率之间的差距小于预设阈值的情况下，根据最大概率的主题和第二大概率的主题形成所述文章的复合主题。

可选地，根据所述文章的主题概率分布，在最大概率与第二大概率之间的差距不小于预设阈值的情况下，将最大概率的主题确定为所述文章的主题。

可选地，所述检测集中包括多篇待检测的文章，所述检测集被划分为多个弹性分布式检测集，所述聚类机器学习模型被设置为广播变量；在每个弹性分布式检测集中调用所述广播变量中的聚类机器学习模型，并行确定各个文章的主题概率分布和主题。

可选地，将训练集中的文章表示为文章向量，输入聚类机器学习模型对聚类机器学习模型进行训练；其中，所述训练集中包括多篇文章，所述训练集被划分为多个弹性分布式训练集，所述聚类机器学习模型被设置为广播变量；在每个弹性分布式训练集中调用所述广播变量中的聚类机器学习模型，并行对聚类机器学习模型进行训练。

可选地，文章向量表示为文章的标签词矩阵，文章的标签词根据分词词库对文章进行分词产生，所述分词词库中包括根据应用场景构建的自定义词语。

可选地，文章向量表示为文章的标签词矩阵，矩阵的元素为标签词的词频与逆向文件频率的乘积。

可选地，所述聚类机器学习模型包括:隐含狄利克雷分布LDA模型、K-means聚类模型。

本公开的再一个方面，提出一种文章主题挖掘装置，包括：

文本特征工程模块，用于将检测集中待检测的文章表示为文章向量；

模型处理模块，用于将文章向量输入聚类机器学习模型得到所述文章的主题概率分布；

主题挖掘模块，用于根据所述文章的主题概率分布，在最大概率与第二大概率之间的差距小于预设阈值的情况下，根据最大概率的主题和第二大概率的主题形成所述文章的复合主题。

可选地，所述主题挖掘模块，还用于根据所述文章的主题概率分布，在最大概率与第二大概率之间的差距不小于预设阈值的情况下，将最大概率的主题确定为所述文章的主题。