[发明专利]一种基于密度的文本聚类方法

权利要求书

1.基于密度的文本聚类算法，其特征在于，包括下列步骤：

步骤A，根据数据集对文本进行分词、去除停用词操作；

步骤B，根据得到的文本分词按照名词、动词、形容词三种词性和词频来对分词提取相应关键词；

步骤C，根据得到的关键词采用改进的知网词汇相似度算法计算文本的关键词相似度；

步骤D，根据得到的文本关键词相似度计算文本的相似度；

步骤E，根据得到的文本相似度对文本采用基于密度的聚类算法对文本进行聚类。

2.根据权利要求1所述的基于密度的文本聚类算法，其特征在于，所述步骤B包括对文本分词按照名词、动词和形容词三种词性进行筛选，其中名词和形容词各占0.4的比重，形容词占0.2的比重。如果词汇i的词性不属于三大词性中的任何一类，则其词汇词性权重gen_i为0，不用对其计算，以提高计算效率。

3.根据权利要求1所述的基于密度的文本聚类算法，其特征在于，所述步骤B包括对得到的文本分词进行词频计算，其公式为词汇i的词频其中wn_i表示词汇i在文本中出现的词数。

4.根据权利要求1所述的基于密度的文本聚类算法，其特征在于，所述步骤B包括对得到的分词进行关键词权重计算函数设计如下：

weight_i＝gen_i*fre_i

其中gen_i表示词汇i其词性权重，fre_i为词汇的词频。

5.根据权利要求1所述的基于密度的文本聚类算法，其特征在于，所述步骤C包括对得的关键词采用改进的知网词汇相似度算法计算文本的关键词相似度，其中《知网》收入的词语主要归为两类，一类是实词，一类是虚词。因为权利要求1中的步骤B中只对名词、动词和形容词这些实词进行处理，虚词在代表文章主旨方面起到的作用很小，这里只对实词计算其词汇相似度，像代表虚词的关系义原和符号义原相似度的计算就不作处理。

6.根据权利要求1所述的基于密度的文本聚类算法，其特征在于，所述步骤C中，知网词汇语义相似度计算，对于两个汉语词语W₁和W₂，如果W₁有n个义项(概念)：S₁₁，S₁₂，……，S_1n，W₂有m个义项(概念)：S₂₁，S₂₂，……，S_2m，我们规定，W₁和W₂的相似度各个概念的相似度之最大值，也就是说：

。

7.根据权利要求1所述的基于密度的文本聚类算法，其特征在于，所述步骤C中，知网词汇语义相似度计算，由于所有的义原根据上下位关系构成了一个树状的义原层次体系，我们这里采用简单的通过语义距离计算相似度的办法。假设两个义原在这个层次体系中的路径距离为d，根据公式(1)，我们可以得到这两个义原之间的语义距离：

其中p₁和p₂表示两个义原(primitive)，d是p₁和p₂在义原层次体系中的路径长度，是一个正整数。α是一个可调节的参数。

8.根据权利要求1所述的基于密度的文本聚类算法，其特征在于，所述步骤C中，知网词汇语义相似度计算，整体的相似度通过部分的相似度加权平均得到。对于实词概念的语义表达式，我们将其分成两个部分：

1)第一独立义原描述式：我们将两个概念的这一部分的相似度记为Sim₁(S₁,S₂)；

2)其他独立义原描述式：语义表达式中除第一独立义原以外的所有其他独立义原(或具体词)。