[发明专利]一种基于聚类的非结构化文本的热点词提取方法

权利要求书

1.一种基于聚类的非结构化文本的热点词提取方法，其特征在于：该方法包括以下步骤：

S1：文本数据预处理；

S2：对预处理的文本数据进行文本向量化：利用向量化技术将文本数据转化为数字数据表达；

S3：对向量进行降维处理，提取主要特征；

S4：使用降维后的向量进行聚类；

S5：根据文本聚类结果，提取每类下的热点词。

2.根据权利要求1所述的基于聚类的非结构化文本的热点词提取方法，其特征在于：该方法还包括以下步骤S6：人工干预。

3.根据权利要求2所述的基于聚类的非结构化文本的热点词提取方法，其特征在于：步骤S1数据预处理过程为，去除无用的字符及特定的表达，然后进行分词及词性标注，去除停用词，使用普通停用词表。

4.根据权利要求3所述的基于聚类的非结构化文本的热点词提取方法，其特征在于：步骤S2对预处理的文本数据进行文本向量化的过程采用词袋模型或者TFIDF模型或者Word2vec向量化模型首先得到每个词的向量，将词的向量进行叠加得到文本的向量。

5.根据权利要求4所述的基于聚类的非结构化文本的热点词提取方法，其特征在于：步骤S3对向量进行降维处理，采用PCA或者LDA主题模型进行。

6.根据权利要求5所述的基于聚类的非结构化文本的热点词提取方法，其特征在于：步骤S4使用降维后的向量进行聚类中，降维后的每条文本数据对应一个向量，运用产生的向量进行聚类，经聚类后的每条文本数据对应一个类别标签，统计每类标签的数据量，按照每类数据量从大到小，赋值等级，数据量越多，等级越高。

7.根据权利要求6所述的基于聚类的非结构化文本的热点词提取方法，其特征在于：步骤S5提取每类下的热点词时，根据步骤S4产生的等级，从高到低依次进行每个等级下的热点词的提取，针对每个等级下的数据，统计该等级下所有词的词频，从大到小排列，选取设定个数的词作为该等级下的热点词。

8.根据权利要求7所述的基于聚类的非结构化文本的热点词提取方法，其特征在于：步骤S6人工干预针对具体领域的专业停用词，根据每个等级下的词频，选出频率较高，但对具体领域无用的词纳入专业停用词表，与普通停用词表组成新的停用词表。