[发明专利]基于语义的文档聚类方法、系统及计算机设备

说明书

本发明涉及人工智能技术领域，提供了一种基于语义的文档聚类方法，包括：获取输入文档并对其进行预处理；对处理后的输入文档中所包含的各个单词进行词频统计和逆文档频率计算，构建词频‑逆文档矩阵；将词频统计中所采用的单词作为对象输入至预先存储的自然语言处理模型中，得到与词频‑逆文档矩阵所适配的相似度矩阵；根据相似度矩阵对词频‑逆文档矩阵进行语义传播，得到第二词频‑逆文档矩阵；对第二词频‑逆文档矩阵进行双向聚类，得到至少一个双聚类簇，双聚类簇包含一个文档簇和一个单词簇，根据单词簇中所包含的特征词对文档簇中的各个文档进行标签赋予。本发明解决了现有技术中文档聚类结果精确度不高的问题。本发明还涉及区块链领域，其中的自然语言处理模型可存储在区块链上。

技术领域

本发明实施例涉及人工智能技术领域，尤其涉及一种基于语义的文档聚类方法、系统、计算机设备及计算机可读存储介质。

背景技术

随着互联网的普及，信息以飞快的速度增长，我们每天会面对越来越多的文本信息处理，因此很容易就淹没在信息的海洋中。人工智能的发展，人们越来越诉求个性化的服务，如何从海量的文本信息中，给人们提供个性化的服务，从而给人们更好的服务和体验是一项重大挑战，而要实现这一挑战的基础就是能够自动的对文本进行归类。文本聚类技术已经在新闻个性化推荐、文本情感分析、文本信息过滤等方面有着广泛的应用。

现有解决方案比如NMF、LSA、PLSA、LDA通过构建一个文档-单词矩阵，然后根据文档-单词矩阵建立一个文档-主题-单词的三层模型，对文档进行主题划分。然而该类方案是根据词频统计来对文本主题分类，无法兼顾对语义的考虑，比如三个文档中分别有评价语，“优秀”，“卓越”，“差劲”，但是如果仅根据这三个词来建立TF-IDF文档-单词矩阵，矩阵中并不包含语义参数，进而所输出的结果为该三个文档归属于同一类，即三个文档之间的相似度相同，而实际基于语义的分析来看，前两个文档之间的相似度更高。

发明内容

有鉴于此，本发明实施例的目的是提供一种基于语义的文档聚类方法、系统、计算机设备及计算机可读存储介质，解决现有技术中角力技术所存在的聚类精确度不高的问题。

为实现上述目的，本发明实施例提供了一种基于语义的文档聚类方法，包括以下步骤：

获取输入文档并对所述输入文档进行预处理，得到处理后的输入文档；

对所述处理后的输入文档中所包含的各个单词进行词频统计和逆文档频率计算，根据计算得到的词频和逆文档频率构建词频-逆文档矩阵；

将所述词频统计中所采用的单词作为对象输入至预先存储的自然语言处理模型中，得到与词频-逆文档矩阵所适配的相似度矩阵，所述相似度矩阵包含所述单词之间的相似度值；

根据所述相似度矩阵对所述词频-逆文档矩阵进行语义传播，得到第二词频-逆文档矩阵；

对所述第二词频-逆文档矩阵进行双向聚类，得到至少一个双聚类簇，所述双聚类簇包含一个文档簇和一个单词簇，根据所述单词簇中所包含的特征词对所述文档簇中的各个文档进行标签赋予并将所述文档及对应的标签进行关联存储。

优选地，所述获取输入文档并对所述输入文档进行预处理，得到处理后的输入文档的步骤包括：

获取输入文档；

对所述输入文档进行分词处理，得到第一中间文档；

遍历所述分词处理后的第一中间文档中各个单词，剔除其中的停用词，得到所述处理后的输入文档。

优选地，所述对所述处理后的输入文档中所包含的各个单词进行词频统计和逆文档频率计算，根据计算得到的词频和逆文档频率构建词频-逆文档矩阵的步骤为：

遍历所述输入文档中的各个文档所所包含的文本数据，根据所述单词在所述文本中出现的次数以及所述文本的总词数计算所述单词所对应的词频；