[发明专利]基于文本相似度的数据处理方法、装置以及电子设备

权利要求书

1.基于文本相似度的数据处理方法，其特征在于，所述数据处理方法包括：

获取标准问题集合与测试用问题集合，计算测试用问题与标准问题之间的相似度，以三元组形式对相似度计算结果进行标注；

构建相似度预训练模型，将已标注的三元组导入相似度预训练模型中进行信息融合训练，得到训练后的文本相似度基准模型；

向训练后的文本相似度基准模型输入客户提出的问题，得到模型输出的比对结果；

其中，所述获取标准问题集合与测试用问题集合，计算测试用问题与标准问题之间的相似度，以三元组形式对相似度计算结果进行标注，包括：

从标准问题集合、测试用问题集合中逐个提取标准问题以及测试用问题，按测试用问题、标准问题一、标准问题二的格式进行组合得到三元组；

分别计算三元组中测试用问题与任一标准问题的相似度，基于计算结果结合预设阈值对三元组内的问题顺序进行调整；

所述构建相似度预训练模型，将已标注的三元组导入相似度预训练模型中进行信息融合训练，得到训练后的文本相似度基准模型，包括：

基于循环神经网络构建相似度预训练模型中的文本编码初始模型；

根据注意力机制将测试用问题和标准问题的信息融合，并更新文本编码；

再基于循环神经网络对当前文本编码进行更新，得到最终文本编码；

对三元组文本编码基于目标函数进行优化处理，调整两两相似度差异，得到最终的文本相似度基准模型。

2.根据权利要求1所述的基于文本相似度的数据处理方法，其特征在于，所述分别计算三元组中测试用问题与任一标准问题的相似度结果，基于计算结果结合预设阈值对三元组内的问题顺序进行调整，包括：

计算测试用问题与标准问题一的相似度结果一，以及测试用问题与标准问题二的相似度结果二；

基于相似度结果一与相似度结果二的数值，对标准问题一与标准问题二在三元组内的顺序进行调整。

3.根据权利要求1所述的基于文本相似度的数据处理方法，其特征在于，所述根据注意力机制将测试用问题和标准问题的信息融合，包括：

在编码过程中，获取测试用问题与标准问题中每个词经过循环神经网络编码后的向量；

根据标准问题中的向量对测试用问题中的每个向量进行调整，根据测试用问题中的向量对标准问题中的每个向量进行调整。

4.根据权利要求1所述的基于文本相似度的数据处理方法，其特征在于，所述目标函数如公式一所示，

公式一，

式中，为已标注的三元组结构，为计算之间的相似度运算符，为计算之间的相似度运算符，为相似度差异阈值，

其中，的运算方式为，代表测试用问题，代表标准问题一，代表标准问题二，为的模长归一化向量表示符。

5.根据权利要求1所述的基于文本相似度的数据处理方法，其特征在于，所述数据处理方法，还包括：

新增相似度三元组标注数据，对之前预训练得到的文本相似度基准模型继续训练，更新模型参数。