[发明专利]一种相似句子对判断方法、系统及存储介质

权利要求书

1.一种相似句子对判断方法，其特征在于，所述方法包括如下步骤：

步骤1：根据实际使用场景并按照意图冲突和问句相似度，将数据集整理成多组句子对；

步骤2：使用与Robert网络对接的Encoder将步骤1中的多组句子对转换为对应的语义表征空间，获取符合语义的Embedding结果样本；

步骤3：将步骤2处理后的Embedding结果样本输入Robert网络中训练，并将Robert网络的Cross Entropy Loss函数替换为Focal Loss函数，来消除不同类别的相似句子对样本不平衡问题；

步骤4：重复步骤3进行训练优化，直至满足收敛条件,从而准确地将Embedding结果样本分类为相似句子对和非相似句子对。

2.根据权利要求1所述的相似句子对判断方法，其特征在于，所述Robert网络基于Bert算法。

3.根据权利要求2所述的相似句子对判断方法，其特征在于，

Robert网络对学习率的峰值和warm-up更新步数作出调整，将Adam中的β₂＝0.999改为β₂＝0.98，不对序列进行截短，使用全长度序列，使用DGX-1 each with 8*32GB NVIDIAV100 GPUs interconnected by Infiniband处理器。

4.根据权利要求2所述的相似句子对判断方法，其特征在于，Robert网络使用160G训练语料，使用动态mask方法，使用FULL-SENTENCES without NSP Loss，使用batch size＝16/32/64/128。

5.根据权利要求1所述的相似句子对判断方法，其特征在于，所述收敛条件为相似句子对判断的准确率达到一定阈值。

6.一种相似句子对判断系统，其特征在于，所述系统包括：

分类模块：用于根据实际使用场景并按照意图冲突和问句相似度，将数据集整理成多组句子对；

转换模块：用于使用与Robert网络对接的Encoder将多组句子对转换为对应的语义表征空间，获取符合语义的Embedding结果样本；

输入模块：用于将Embedding结果样本输入Robert网络中训练，并将Robert网络的Cross Entropy Loss函数替换为Focal Loss函数，来消除不同类别的相似句子对样本不平衡问题；

优化模块：用于重复所述输入模块的训练而进行优化，直至满足收敛条件，从而准确地将Embedding结果样本分类为相似句子对和非相似句子对。

7.一种相似句子对判断系统，其特征在于，包括处理器及存储介质；

所述存储介质用于存储指令；

所述处理器用于根据所述指令进行操作以执行根据权利要求1-5任一项所述方法的步骤。

8.计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-5任一项所述方法的步骤。