[发明专利]短文本聚类分析方法、装置和终端设备

权利要求书

1.一种短文本聚类分析方法，其特征在于，包括：

获取待聚类的短文本数据集，并对所述短文本数据集进行预处理得到包括至少三种词性的初始词集；

对所述初始词集进行特征提取得到包括主题特征词集和主题关联词集的特征词集；

根据所述主题特征词集和所述主题关联词集的相关性确定预设个数的主题特征词和主题关联词，所述主题特征词与所述主题关联词一一对应组成知识对；

将所述预设个数的知识对输入到文档主题生成模型LDA中进行聚类并确定该待聚类的短文本数据集的情感主题，以及

对聚类的主题进行正确率计算：通过

得到正确率F1；其中，Pr为聚类的主题精确率，Re为测试中的主题召回率。

2.如权利要求1所述的短文本聚类分析方法，其特征在于，所述对所述短文本数据集进行预处理得到包括至少三种词性的初始词集，包括：

将所述短文本数据集进行分词处理得到文本词集；

对所述文本词集进行过滤处理得到包括至少三种词性的主词集；

对所述主词集进行词性约束处理得到包括至少三种词性的初始词集。

3.如权利要求1所述的短文本聚类分析方法，其特征在于，所述对所述初始词集进行特征提取得到包括主题特征词集和主题关联词集的特征词集，包括：

根据词频-逆文本频率指数TF-IDF算法对所述初始词集进行特征提取得到包括主题特征词集和主题关联词集的特征词集。

4.如权利要求1所述的短文本聚类分析方法，其特征在于，所述特征词集包括与所述词性对应的至少三个特征词子集；

所述根据所述主题特征词集和所述主题关联词集的相关性确定预设个数的主题特征词和主题关联词，包括：

计算所述特征词子集中的每个词与其他特征词子集中的每个词之间的词共现度，并根据所述词共现度确定所述主题特征词集和所述主题关联词集；

计算所述主题特征词集中每个词的权重和所述主题关联词集中每个词的权重，并根据每个词的权重确定预设个数的主题特征词和主题关联词。

5.如权利要求1至4任一项所述的短文本聚类分析方法，其特征在于，所述将所述预设个数的知识对输入到LDA中进行聚类并确定该待聚类的短文本数据集的情感主题，包括：

对所述预设个数的知识对进行吉布斯抽样得到知识对集；

将所述知识对集输入到LDA中进行聚类得到多个主题；

运用K-means聚类算法对所述多个主题进行二次聚类得到所述待聚类的短文本数据集的情感主题。

6.一种短文本聚类分析装置，其特征在于，包括：

预处理模块，用于获取待聚类的短文本数据集，并对所述短文本数据集进行预处理得到包括至少三种词性的初始词集；

特征提取模块，用于对所述初始词集进行特征提取得到包括主题特征词集和主题关联词集的特征词集；

知识对确定模块，用于根据所述主题特征词集和所述主题关联词集的相关性确定预设个数的主题特征词和主题关联词，所述主题特征词与所述主题关联词一一对应组成知识对；

主题聚类模块，用于将所述预设个数的知识对输入到LDA中进行聚类并确定该待聚类的短文本数据集的情感主题，以及对聚类的主题进行正确率计算：通过

得到正确率F1；其中，Pr为聚类的主题精确率，Re为测试中的主题召回率。

7.如权利要求6所述的短文本聚类分析装置，其特征在于，所述预处理模块具体用于：

将所述短文本数据集进行分词处理得到文本词集；

对所述文本词集进行过滤处理得到包括至少三种词性的主词集；

对所述主词集进行词性约束处理得到包括至少三种词性的初始词集。