[发明专利]一种基于微调特征的文本聚类系统及方法

权利要求书

1.一种基于微调特征的文本聚类系统，其特征在于：包括：

聊天语料库：储存聊天语料；

下游任务模块：构建下游任务，生成句子向量；

层次聚类模块：对句子向量进行聚类成簇；

异常检测模块：检测每个簇的可靠性；

问法生成模块：针对每个簇生成最合适的问法。

2.根据权利要求1所述的一种基于微调特征的文本聚类系统，其特征在于：还包括文本预处理模块：用于将聊天语料库中相互类似的包括图片，链接，卡片，淘口令信息进行预处理归一化。

3.根据权利要求1所述的一种基于微调特征的文本聚类方法，其特征在于：包括以下步骤：

S1、构建下游任务，下游任务为预测聊天语料中的2个句子是否是相似；

S2、文件预处理，将聊天语料库中相互类似的包括图片，链接，卡片，淘口令信息放入一个簇中，进行预处理归一化；

S3、将聊天语料中的句子用向量表示；

S4、聚类、将句子向量聚类成簇；

S5、问法生成，针对每个簇生成最适合的问法。

4.根据权利要求3所述的一种基于微调特征的文本聚类方法，其特征在于：所述步骤S1中下游任务采用Triplet Loss损失函数，输入样本为3个句子，包括中间样本称为anchor、左边样本为positive样本、右边样本为negative样本，训练的优化目标是最大化anchor样本与negative样本间的距离，最小化anchor样本与positive样本之间的距离。

5.根据权利要求4所述的一种基于微调特征的文本聚类方法，其特征在于：所述步骤S3包括：

层次聚类：首先计算出句子之间的欧式距离，并设置一个距离阈值，合并两个距离小于阈值的句子成一个簇；

该簇中此时包含两个句子，再计算与第三个句子之间距离:计算簇中每个句子与第三个句子的距离，取最小值，即为簇与第三个句子的距离，若该句子小于阈值则将第三个句子合并进簇内；

依照上述步骤继续计算出第四个句子、第五个句子......，直到该簇收纳进所有距离相近的句子，完成层次聚类；

异常检测：使用lof算法，通过计算每个句子与他邻近数据点的相对密度，计算方式如下

reach_dist_k(p，o)＝nax{k-distance(o)，d(p，o)}

k-distance(o)是指与p最近的第k个点与p的距离，d(p,o)是指p和o之间的距离

reach_distk(p，o)＝nax{k-distance(o)，d(p，o)}

计算出来每个簇内问题的lof分数，如果问题p的LOF分数在1附近，表明问题p的局部密度跟它的邻居们差不多；如果问题p的LOF得分小于1，表明问题p处在一个相对密集的区域，不像是一个异常点；如果数据点p的LOF得分远大于1，表明问题p跟其他点比较疏远，很有可能是一个异常点；

打分生成：对生成的每个簇进行打分,该分数用来衡量聚类质量，保留下来优质的簇；

分数的计算方式使用均方根标准偏差：

其中Ci代表第i个簇，ci是该簇的中心，x∈Ci代表属于第i个簇的一个样本点，ni为第i个簇的样本数量，P为样本点对应的向量维数。

6.根据权利要求3所述的一种基于微调特征的文本聚类方法，其特征在于：所述步骤S4使用pagerank算法：

将簇里面的每个句子看成一个节点，若两个句子之间有相似性，则认为两个节点之间有一个无向有权的边，权值是相似度；

每个句子的分值计算：

S(Vi)是句子i的中重要性(PR值)，d是阻尼系数，一般设置为0.85，In(Vi)是存在指向句子i的链接的句子集合，Out(Vj)是句子j中的链接存在的链接指向的句子的集合，|Out(Vj)|是集合中元素的个数，最后取pr值最大的句子作为问法。