[发明专利]一种基于微调特征的文本聚类系统及方法

说明书

一种基于微调特征的文本聚类方法，涉及信息聚类技术领域；包括：聊天语料库：储存聊天语料；下游任务模块：构建下游任务，生成句子向量；层次聚类模块：对句子向量进行聚类成簇；异常检测模块：检测每个簇的可靠性；问法生成模块：针对每个簇生成最合适的问法。本发明通过下游任务微调预训练词向量模型,使得生成的向量更适合聚类任务；通过使用异常检测提高每个簇的可行度；通过对每个簇打分，提取可靠性高的簇；最后生成每个簇的问法名，提高了簇名的可靠性。

技术领域

本发明涉及信息聚类技术领域，特别涉及一种基于微调特征的文本聚类系统及方法。

背景技术

随着网络技术的发展和应用，信息资源爆炸式增长，文本挖掘、信息过滤和信息搜索的研究出现了前所未有的前景。因此，聚类技术正成为文本信息挖掘技术的核心。文本聚类是文本挖掘中用来发现数据分布及其隐含数据模式的一项重要技术。聚类是通过将具有相似性的数据划分成不同的组来实现的，以便每个集群中的元素共享一些共同特征，通常根据定义的距离度量远近。然而传统的聚类，对于不同的初始值、离群点敏感，且泛化能里较弱。

针对这些缺点，随着bert、gpt、elmo等预训练词向量技术在nlp领域迅速发展，通过下游子任务，生成更适合聚类的向量，确保聚类的泛化能力，同时在此基础上，增加异常检测模块，进一步提高聚类效果。

发明内容

本发明的目的在于，提供一种基于微调特征的文本聚类系统及方法。

本发明的技术方案：一种基于微调特征的文本聚类系统，包括：

聊天语料库：储存聊天语料；

下游任务模块：构建下游任务，生成句子向量；

层次聚类模块：对句子向量进行聚类成簇；

异常检测模块：检测每个簇的可靠性；

问法生成模块：针对每个簇生成最合适的问法。

上述的一种基于微调特征的文本聚类系统，还包括文本预处理模块：用于将聊天语料库中相互类似的包括图片，链接，卡片，淘口令信息进行预处理归一化。

一种基于微调特征的文本聚类方法，包括以下步骤：

S1、构建下游任务，下游任务为预测聊天语料中的2个句子是否是相似；

S2、文件预处理，将聊天语料库中相互类似的包括图片，链接，卡片，淘口令信息放入一个簇中，进行预处理归一化；

S3、将聊天语料中的句子用向量表示；

S4、聚类、将句子向量聚类成簇；

S5、问法生成，针对每个簇生成最适合的问法。

前述的一种基于微调特征的文本聚类方法中，所述步骤S1中下游任务采用Triplet Loss损失函数，输入样本为3个句子，包括中间样本称为anchor、左边样本为positive样本、右边样本为negative样本，训练的优化目标是最大化anchor样本与negative样本间的距离，最小化anchor样本与positive样本之间的距离。

前述的一种基于微调特征的文本聚类方法中，所述步骤S3包括：

层次聚类：首先计算出句子之间的欧式距离，并设置一个距离阈值，合并两个距离小于阈值的句子成一个簇；

该簇中此时包含两个句子，再计算与第三个句子之间距离:计算簇中每个句子与第三个句子的距离，取最小值，即为簇与第三个句子的距离，若该句子小于阈值则将第三个句子合并进簇内；

依照上述步骤继续计算出第四个句子、第五个句子......，直到该簇收纳进所有距离相近的句子，完成层次聚类；