[发明专利]相似文本去重方法、装置、存储介质及电子装置

说明书

本发明公开了一种相似文本去重方法、装置、存储介质及电子装置。其中，该相似文本去重方法包括：通过获取待处理文本；将待处理文本输入预训练语义模型，输出结合待处理文本的上下文和词位置信息的文本表征矩阵；以文本表征矩阵为输入，利用聚类算法进行相似文本去重处理，得到处理后的目标文本，即本发明语义模型经过海量文本的预训练，能结合上下文和词的位置，精确捕捉广泛且复杂的语义信息，进而解决了现有技术中，相似文本去重精度较低的技术问题。

技术领域

本发明涉及自然语言处理领域，具体而言，涉及一种相似文本去重方法、装置、存储介质及电子装置。

背景技术

现有文本去重系统主要由以下步骤构成：文本清洗、文本分词，文本表征(文本指纹)，生成候选、计算距离。文本清洗主要是根据需求，对文档中的标点、空白、中英文、简繁体等字符进行清洗和整理，便于准确地分词和文本表征；文本分词使用成熟的工具如jieba将句子分成词语，组成词库或者提取高频关键词用于后续的文本表征；文本表征是利用前一步的词信息进行编码如tf-idf，获得能够表示文本语义信息的向量；然后根据文本指纹之间的相关度生成候选文本对；最后通过计算文本对之间的距离如hamming距离，去除重复文本。

现有技术中涉及的相似文本去重，严重依赖于分词效果，在强专业性领域如医疗很难取得令人满意的效果，且基于词或片段的文本指纹不足以捕捉复杂的语义特征如上下文和词序信息，从而给相似度计算带来误差，相似文本去重精度较低。

针对上述的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种相似文本去重方法、装置、存储介质及电子装置，以至少解决现有技术中，相似文本去重精度较低的技术问题。

根据本发明实施例的一个方面，提供了一种相似文本去重方法，包括：获取待处理文本；将所述待处理文本输入预训练语义模型，输出结合所述待处理文本的上下文和词位置信息的文本表征矩阵；以所述文本表征矩阵为输入，利用聚类算法进行相似文本去重处理，得到处理后的目标文本。

可选的，所述将所述文本表征矩阵为输入，利用聚类算法进行相似文本去重处理，得到处理后的目标文本，包括：将所述文本表征矩阵输入所述聚类算法，生成多个语义相似的簇；根据每个簇的文本向量距离中心向量之间的距离，从所述多个语音相似的簇中的每个簇取一个代表性样本，得到所述目标文本。

可选的，所述将所述待处理文本输入预训练语义模型，输出结合所述待处理文本的上下文和词位置信息的文本表征矩阵，包括：在所述待处理文本首尾分别新增[cls]和[seq]，得到新增文本；对所述新增文本进行分词处理，得到分词token总数为l的分词集合；将所述分词集合输入所述预设训练语义模型，得到所述分词集合中每个分词在所述预设训练语义模型词表中对应的标识id，生成l维度的第一向量，所述文本表征矩阵由不同文本的表征向量组成，文本表征向量是由所述第一向量、第二向量和第三向量计算得来的。

可选的，所述第一向量X_{input_id}表示如下：χ_{input_id}＝(x_[cls],x_[1],x_[2],...,x_[l-2],x_[seq])

其中，x_[cls]，x_[seq]分别代表所述[cls]和所述[seq]所述预训练模型词表中的id，x_[i]代表所述新增文本中第i个token在所述预训练模型词表中的id，1≤i≤l-2。

可选的，所述第二向量χ_{segment_id}默认所有token都为0，即为l维值为0的向量：χ_{segment_id}＝(0,0,...,0)；

所述第三向量χ_{attention_mask}默认所有token都为1，即为l维值为1的向量：