[发明专利]文本识别模型相似度训练方法、系统、识别方法及终端

说明书

本发明适用于文本识别技术领域，提供了一种文本识别模型相似度训练方法、系统、识别方法及终端，该方法包括：获取样本数据，分别对样本数据内的样本语句进行相似度计算，以获取多组相似语句组合；判断相似语句组合内的相似语句之间是否满足语义条件，根据判断结果对相似语句进行样本标记；根据样本标记的标记结果以构建训练数据集，根据训练数据集对文本识别模型进行模型训练。本发明通过对相似语句组合内的相似语句进行是否满足语义条件的判断的设计，以对应进行正样本标记或负样本标记，以达到将训练数据集中组词相同但语义不同的相似语句进行负标记的效果，进而防止了后续文本识别模型由于该组词相同但语义不同的相似语句所导致的答非所问。

技术领域

本发明属于文本识别技术领域，尤其涉及一种文本识别模型相似度训练方法、系统、识别方法及终端。

背景技术

随着人工智能的发展和普及，智能客服机器人在各个行业的应用也越来越多了，对于所有领域的智能客服机器人来说，常见问答库似乎是不可或缺的，常见问答库用于针对访客提出的问题进行回答，因此，如何准确有效的检索访客真正需要检索的问答对，以防止出现匹配错误出现答非所问现象已经成为了智能问答行业必须解决的底线问题。

现有的问答库使用过程中，均通过基于文本识别模型的方式进行访客问题的回答，但现有的文本识别模型使用过程中，均是通过采用无监督的方式进行文本相似度的训练，使得当两个语句中组成词相同，但语义不相同时，文本识别模型会出现检索错误，导致会误认为访客的问题和知识库里的问答对匹配成功，而返回了错误的答案，使得答非所问概率较高。

发明内容

本发明实施例的目的在于提供一种文本识别模型相似度训练方法、系统、识别方法及终端，旨在解决现有的文本识别模型训练方法中，由于采用无监督训练方式所导致的答非所问概率高的问题。

本发明实施例是这样实现的，一种文本识别模型相似度训练方法，所述方法包括：

获取样本数据，并分别对所述样本数据内的样本语句进行相似度计算，以获取多组相似语句组合；

判断所述相似语句组合内的相似语句之间是否满足语义条件，并根据判断结果对所述相似语句进行样本标记；

根据所述样本标记的标记结果以构建训练数据集，并根据所述训练数据集对文本识别模型进行模型训练。

更进一步的，所述分别对所述样本数据内的样本语句进行相似度计算的步骤包括：

分别对所述样本语句进行分词，以得到词语串，并将所述词语串转化为标识串，所述标识串为数字串或字母串；

将所述标识串进行向量映射，以得到词向量，并对所述词向量进行特征变换和特征提取，以得到特征向量；

根据所述特征向量，分别在所述样本数据中两两所述样本语句之间进行余弦计算，以得到余弦相似度。

更进一步的，所述分别对所述样本数据内的样本语句进行相似度计算的步骤还包括：

当判断到所述余弦相似度大于相似度阈值时，将所述余弦相似度对应的两个所述样本语句进行组合，以得到所述相似语句组合。

更进一步的，所述判断所述相似语句组合内的相似语句之间是否满足语义条件的步骤包括：

分别对所述相似语句进行特征提取，以得到语义特征；

判断所述语义特征之间是否属于相同语义类别；

若是，则判定所述相似语句之间满足所述语义条件；

若否，则判定所述相似语句之间未满足所述语义条件。

更进一步的，所述根据判断结果对所述相似语句进行样本标记的步骤包括：