[发明专利]基于语义的文档聚类方法、系统及计算机设备

权利要求书

1.一种基于语义的文档聚类方法，其特征在于，包括：

获取输入文档并对所述输入文档进行预处理，得到处理后的输入文档；

对所述处理后的输入文档中所包含的各个单词进行词频统计和逆文档频率计算，根据计算得到的词频和逆文档频率构建词频-逆文档矩阵；

将所述词频统计中所采用的单词作为对象输入至预先存储的自然语言处理模型中，得到与词频-逆文档矩阵所适配的相似度矩阵，所述相似度矩阵包含所述单词之间的相似度值；

根据所述相似度矩阵对所述词频-逆文档矩阵进行语义传播，得到第二词频-逆文档矩阵；

对所述第二词频-逆文档矩阵进行双向聚类，得到至少一个双聚类簇，所述双聚类簇包含一个文档簇和一个单词簇，根据所述单词簇中所包含的特征词对所述文档簇中的各个文档进行标签赋予，并将所述文档及对应的标签进行关联存储。

2.根据权利要求1所述的基于语义的文档聚类方法，其特征在于，所述获取输入文档并对所述输入文档进行预处理，得到处理后的输入文档的步骤包括：

获取输入文档；

对所述输入文档进行分词处理，得到第一中间文档；

遍历所述分词处理后的第一中间文档中各个单词，剔除其中的停用词，得到所述处理后的输入文档。

3.根据权利要求1所述的基于语义的文档聚类方法，其特征在于，所述对所述处理后的输入文档中所包含的各个单词进行词频统计和逆文档频率计算，根据计算得到的词频和逆文档频率构建词频-逆文档矩阵的步骤为：

遍历所述输入文档中的各个文档所包含的文本数据，根据所述单词在所述文本中出现的次数以及所述文本的总词数计算所述单词所对应的词频；

根据所述输入文档所包含的文档总数以及包含所述单词的文档数，得到所述单词所对应的逆文档频率；

根据计算的到的词频和逆文档频率构建词频-逆文档矩阵。

4.根据权利要求1所述的基于语义的文档聚类方法，其特征在于，所述将所述词频统计中所采用的单词作为对象输入至预先存储的自然语言处理模型包括：

将所述词频统计中所采用的单词作为对象，并按照与所述词频逆-文档矩阵中的行向元素或列向元素所映射的单词次序相同的单词次序，输入至预先存储的自然语言处理模型。

5.根据权利要求1所述的基于语义的文档聚类方法，其特征在于，所述根据相似度矩阵对所述词频-逆文档矩阵进行语义传播，得到第二词频-逆文档矩阵的计算公式为：

A′＝A*Net

其中，A′为第二词频-逆文档矩阵，A为词频-逆文档矩阵，Net为相似度矩阵。

6.根据权利要求4所述的基于语义的文档聚类方法，其特征在于，所述将所述词频统计中所采用的单词作为对象输入至预先存储的自然语言处理模型中，得到与词频-逆文档矩阵所适配的相似度矩阵，所述相似度矩阵包含所述单词之间的相似度值的步骤为：

将所述词频统计中所采用的单词作为对象输入至预先存储的自然语言处理模型中，所述自然语言处理模型预先存储于区块链中；

所述自然语言处理模型根据所述单词的输入次序和单词对应的词频生成词频向量；

所述自然语言处理模型通过预设的相似度函数对不同单词所对应的词频向量进行运算，计算得到所述单词之间的相似度值；

所述自然语言处理模型通过预置的矩阵生成器将所述单词之间的相似度值进行整合，生成与所述词频-逆文档矩阵所适配的相似度矩阵；

所述相似度函数计算公式如下：

其中，单词A向量为{x₁,y₁}，单词B向量为{x₂,y₂}，cosθ为相似度值。