[发明专利]文章画像提取方法、装置、电子设备及存储介质

说明书

本发明实施例提供一种文章画像提取方法、装置、电子设备及存储介质，方法包括：基于语料库对应的词频矩阵对语料库中的每个文章的主题概率分布进行提取，基于每个文章的主题概率分布确定每个文章的主题关键词集合；基于语料库对应的文本向量矩阵对所述语料库中所有文章进行聚类，得到多个簇；对多个簇中各个簇分别进行关键词提取得到各个簇的簇关键词集合，及确定各个簇的簇中心文章标题；针对每个文章，基于文章的主题关键词集合及文章所属簇的簇关键词集合，确定文章的文章关键词；基于文章的文章关键词及文章所属簇的簇中心文章标题，确定文章的文章画像，提升主题关键词提取的准确性，增强了召回文章的泛化性，提升推荐系统的召回质量。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种文章画像提取方法、装置、电子设备及存储介质。

背景技术

随着计算机技术的不断发展，越来越多的用户通过网络获取自己感兴趣的内容，而推荐系统根据用户的历史记录或者用户的兴趣爱好，产生用户感兴趣的推荐列表推荐给用户。

相关技术中，将隐含狄利克雷分布(Latent Dirichlet Allocation，LDA)模型应用于推荐系统中提取文章画像，通过LDA模型提取文章的主题和主题关键词。具体地，语料库中的文章经过LDA模型，得到语料库中的所有文章对应的多个主题和每个文章的主题概率分布，每个主题包括多个主题关键词；然而，每个文章的多个主题中的多个主题关键词存在相互“重叠”，或者包含一些噪声词语，导致主题关键词提取不准确，影响推荐系统的召回质量。

发明内容

针对相关技术中的问题，本发明实施例提供一种文章画像提取方法、装置、电子设备及存储介质，用于解决主题关键词提取不准确的问题。

具体地，本发明实施例提供了以下技术方案：

第一方面，本发明实施例提供了一种文章画像提取方法，所述方法包括：

基于语料库对应的词频矩阵对所述语料库中的每个文章的主题概率分布进行提取，基于每个文章的主题概率分布确定每个文章的主题关键词集合；

基于所述语料库对应的文本向量矩阵对所述语料库中所有文章进行聚类，得到多个簇；对所述多个簇中各个簇分别进行关键词提取得到各个簇的簇关键词集合，及确定各个簇的簇中心文章标题；

针对每个文章，基于所述文章的主题关键词集合及所述文章所属簇的簇关键词集合，确定所述文章的文章关键词；

基于所述文章的文章关键词及所述文章所属簇的簇中心文章标题，确定所述文章的文章画像。

进一步地，所述基于每个文章的主题概率分布确定每个文章的主题关键词集合，包括：

基于每个文章的主题概率分布，选取每个文章的主题概率分布中N个最大主题概率；N为整数；

基于所选取的N个最大主题概率分别对应的主题关键词，确定每个文章的主题关键词集合。

进一步地，所述对所述多个簇中各个簇分别进行关键词提取得到各个簇的簇关键词集合，包括：

基于所述多个簇，统计各个簇中各个文章的关键词在所述文章中出现的次数；将各个文章中出现次数最大的关键词进行组合，得到各个簇的簇关键词集合。

进一步地，所述确定各个簇的簇中心文章标题，包括：

基于所述多个簇，分别计算各个簇中各个文章对应的向量与各个簇中所有文章对应的向量的距离，确定各个簇的簇中心向量；

基于所述簇中心向量，确定各个簇的簇中心文章标题。

进一步地，所述基于所述簇中心向量，确定各个簇的簇中心文章标题，包括：

基于所述簇中心向量，确定各个簇中与所述簇中心向量的距离最近的向量对应的文章为簇中心文章；