[发明专利]一种基于BERT模型的文本语义相似度计算方法

说明书

本发明公开的基于BERT模型的文本语义相似度计算方法，通过对用户输入的两个句子做子词切分，得到两个子词序列，分别在两个子词序列的头部、连接处及尾部设置标记，得到完整的子词序列，将子词序列输入BERT模型，得到子词序列中各个子词对应的语义向量，将头部特殊标记对应的语义向量输入神经网络模型的全连接层，得到维度为2的语义向量，将维度为2的语义向量输入神经网络模型的Softmax层做归一化，得到两个句子相似的概率和不相似的概率，根据两个句子相似的概率和不相似的概率，确定两个句子的语义相似度，避免了因分词可能引入的错误，能够考虑文本的上下文语义，提高了语义相似度计算的精确度。

技术领域

本发明涉及文本处理技术领域，具体涉及一种基于BERT模型的文本语义相似度计算方法。

背景技术

语义相似度计算是人工智能自然语言处理领域的基础任务之一，是文本查重、智能问答等上层应用的基础支撑技术。语义相似度意在对于给定的两个文本，从语义的角度度量二者之间的相似性，通常会给出一个0到1之间的语义相似度分值，分值越高代表越相似。

现有的语义相似度方案有的基于字面进行计算，无法考虑语义上的相似性。有的方案基于Word2Vec等静态词向量计算语义相似度，无法考虑一词多义的情况，另外由于需要先进行分词，可能存在分词错误的情况，导致语义相似度计算的精确度较低。

发明内容

为解决现有技术的不足，本发明实施例提供了一种基于BERT模型的文本语义相似度计算方法，该方法包括以下步骤：

对用户输入的两个句子做子词切分，得到两个子词序列；

分别在所述两个子词序列的头部、连接处及尾部设置标记，得到完整的子词序列；

将所述子词序列输入BERT模型，得到所述子词序列中各个子词对应的语义向量；

将所述头部特殊标记对应的语义向量输入神经网络模型的全连接层，得到维度为2的语义向量，其中，所述维度为2的语义向量分别表示两个句子相似和不相似；

将所述维度为2的语义向量输入神经网络模型的Softmax层做归一化，得到两个句子相似的概率和不相似的概率；

根据所述两个句子相似的概率和不相似的概率，确定所述两个句子的语义相似度。

优选地，根据所述两个句子相似的概率和不相似的概率，确定所述两个句子的语义相似度包括：

判断相似的概率是否大于不相似的概率，若是，则确定两个句子相似并将相似的概率作为两个句子的语义相似度，若否，则确定两个句子不相似。

本发明实施例提供的基于BERT模型的文本语义相似度计算方法，具有以下有益效果：

将BERT模型应用于计算文本语义相似度，能够达到更好的语义建模效果，基于字符计算语义相似度，不依赖分词，避免了因分词可能引入的错误，能够考虑文本的上下文语义，提高了语义相似度计算的精确度。

具体实施方式

以下结合具体实施例对本发明作具体的介绍。

本发明提供的实施例提供的基于BERT模型的文本语义相似度计算方法，包括以下步骤：

S101，对用户输入的两个句子做子词切分，得到两个子词序列。

其中，每个汉字都是一个子词，一个英文单词可能会被切分成多个子词。

S102，分别在所述两个子词序列的头部、连接处及尾部设置标记，得到完整的子词序列。

作为本发明一个具体的实施例，对于A1、A2...An和B1、B2...Bm两个子词序列，得到的完整的子词序列为[CLS]、A1、A2...An、[sep]、B1、B2...Bm、[sep]。