[发明专利]一种基于预训练语言模型的长文本聚类方法及装置

权利要求书

1.一种基于预训练语言模型的长文本聚类方法，其特征在于，所述方法包括：

步骤SS1：使用文本摘要模型将长文本压缩为短文本；

步骤SS2：根据步骤SS1获得的所述短文本与BERT模型的有标签文本句子对来预测是否两个文本包含相同的事件，生成文本对初始分数；

步骤SS3：使用步骤SS2获得的所述文本对初始分数作为初始分数，根据文本对相较于其他文本的关系来重新计算分数；

步骤SS4：根据步骤SS3获得的文本对分数，从得分最高的文本对开始计算分组。

2.根据权利要求1所述的一种基于预训练语言模型的长文本聚类方法，其特征在于，所述步骤SS1具体包括：采用PGN模型对需要进行聚类的文本进行处理，将长文本压缩为短文本，保留长文本的关键信息。

3.根据权利要求1所述的一种基于预训练语言模型的长文本聚类方法，其特征在于，所述步骤SS2具体包括：训练一个BERT模型，通过BERT模型对文章中的文本进行评分，获得初始分数。

4.根据权利要求1所述的一种基于预训练语言模型的长文本聚类方法，其特征在于，所述步骤SS2中的BERT模型的训练过程如下：

步骤SS21：对文档内的文本进行划分，将一篇文档划分为n个文本并进行编号；

步骤SS22：将这n个文本两两组合，组成个文本对，并对其进行标注是否属于同一簇类；

步骤SS23：将第一个文本和第二个文本分别作为BERT模型的输入，BERT模型输出预测结果。

5.根据权利要求1所述的一种基于预训练语言模型的长文本聚类方法，其特征在于，所述步骤SS23还包括：对于BERT模型输出采用平均池化策略，将文本获得的所有词向量取平均值操作，将最终的向量作为文本的句向量；

由此获得第一个文本的句向量u＝[u₁,u₂,u₃,…,u_k]和第二个文本的句向量v＝[v₁,v₂,v₃,…,v_k]；

将第一个文本的句子向量u和第二个文本的句子向量v以及两者按位求差向量进行拼接；将拼接好的向量乘以一个可训练的权重W_t∈R^3k*l，获得BERT模型输出：

o＝softmax(W_t(u,v,|u-v|))。

6.根据权利要求5所述的一种基于预训练语言模型的长文本聚类方法，其特征在于，所述BERT模型输出为0和1作为预测结果，1代表着两个文本属于同一个簇，0代表着两个文本属于不同的簇。

7.根据权利要求3所述的一种基于预训练语言模型的长文本聚类方法，其特征在于，所述BERT模型为：BERT的双塔模型，两个BERT模型共享同样的参数；将两个文本输入到两个BERT模型中，分别获取到对应的文本向量，进而进行计算出两个文本的初始分数。