[发明专利]一种相似句子对判断方法、系统及存储介质

说明书

本发明公开了一种相似句子对判断方法、系统及存储介质，所述方法包括如下步骤：步骤1：根据实际使用场景并按照意图冲突和问句相似度，将数据集整理成多组句子对；步骤2：使用与Robert网络对接的Encoder将步骤1中的多组句子对转换为对应的语义表征空间，获取符合语义的Embedding结果样本；步骤3：将步骤2处理后的Embedding结果样本输入Robert网络中训练，并将Robert网络的Cross Entropy Loss函数替换为Focal Loss函数，来消除不同类别的相似句子对样本不平衡问题；步骤4：重复步骤3进行训练优化，直至满足收敛条件,从而准确地将Embedding结果样本分类为相似句子对和非相似句子对。本发明能够保证相似句子对判断的准确率。

技术领域

本发明涉及一种相似句子对判断方法、系统及存储介质，属于自然语言处理技术领域。

背景技术

目前相似句子对判断的两种常用方法分别是基于Word-level(单词层)判断相似句子对和基于Sentence-level(句子层)判断相似句子对。

基于Word-level判断相似句子对是通过对句子进行分词，分别计算两个被比较句子中所含词汇的相似度，主要涉及两个核心问题：一个是词汇的相似度计算问题，另一个是对多个词的相似度进行加权融合问题，但是存在一定的局限性，主要包括两点，其一是维护工作量大，如果采用对句子进行分词的方法，则判断相似句子对的准确率依赖于分词的准确率和前期同义词维护的全面性；其二是语义表征能力的欠缺。

基于Sentence-level判断相似句子对是采用句子建模方法判断相似句子对，其核心思想是利用向量空间模型，对句子进行向量表征，而向量表征通常有两种方式，其一是基于word-vector(词向量)的组合进行向量表征，其二是基于sentence-vector(句向量)进行向量表征，但是难以解决不同类别的相似句子对样本不平衡的技术问题。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种相似句子对判断方法、系统及存储介质，能够保证相似句子对判断的准确率。

为达到上述目的，本发明是采用下述技术方案实现的：

第一方面，本发明提供了一种相似句子对判断方法，所述方法包括如下步骤：

步骤1：根据实际使用场景并按照意图冲突和问句相似度，将数据集整理成多组句子对；

步骤2：使用与Robert网络对接的Encoder将步骤1中的多组句子对转换为对应的语义表征空间，获取符合语义的Embedding结果样本；

步骤3：将步骤2处理后的Embedding结果样本输入Robert网络中训练，并将Robert网络的Cross Entropy Loss函数替换为Focal Loss函数，来消除不同类别的相似句子对样本不平衡问题；

步骤4：重复步骤3进行训练优化，直至满足收敛条件,从而准确地将Embedding结果样本分类为相似句子对和非相似句子对。

结合第一方面，进一步的，所述Robert网络基于Bert算法。

结合第一方面，进一步的，Robert网络对学习率的峰值和warm-up更新步数作出调整，将Adam中的β₂＝0.999改为β₂＝0.98，不对序列进行截短，使用全长度序列，使用DGX-1each with 8*32GB NVIDIA V100 GPUs interconnected by Infiniband处理器。

结合第一方面，进一步的，Robert网络使用160G训练语料，使用动态mask方法，使用FULL-SENTENCES without NSP Loss，使用batch size＝16/32/64/128。