[发明专利]一种基于seq2seq模型的语义相似度计算方法

说明书

一种基于seq2seq模型的语义相似度计算方法，涉及语义识别技术领域；包括以下步骤：S1、构建训练数据；S2、文本预处理：去除一些对判断句子语义无关的特殊字符，对于文本中的链接、地名等信息进行归一化，映射为统一的字符；S3、构建基于字粒度的字典，将文本映射为对应字典中的索引值，并输入Seq2seq模型进行训练；S4、使用seq2seq模型的encoder部分进行用户提问句子的特征向量提取；S5、通过计算特征向量间的相似度，从而匹配到与用户提问最相关的问法，将该问法对应的回复作为提问的回答。本发明不需要像孪生网络那样构建大量的正负样例，只需相同问法下的示例两两构建pair进行训练，训练需要的数据量相对较少。

技术领域

本发明涉及语义识别技术领域，特别涉及一种基于seq2seq模型的语义相似度计算方法。

背景技术

随着网络技术的迅速发展，问答系统成为自然语言处理领域热门研究方向之一，问答系统是信息检索的一种高级形式，能够更加准确地理解用户用自然语言提出的问题，并通过检索语料库、知识图谱或问答知识库返回简洁、准确的匹配答案，按照答案的反馈机制，问答系统可分为基于检索式的问答系统和基于生成式的问答系统。在问答系统中，句子相似度计算是其中关键的技术，由于中文含义的丰富性，很难直接根据关键字匹配或基于机器学习的浅层模型来较好计算语义相似度，而深度学习因其强大的表示学习能力，能够从大量样本中学习文本深层的语义特征，更精细的描述文本匹配问题。现有的句子相似度计算常见方式为采用基于孪生网络结构的深度学习模型或使用bert等预训练模型来做相似度计算，然而上述模型往往需要构建大量包含正负样例的样本或者模型容量过大，增加计算或存储成本。

发明内容

本发明采用机器翻译的思路，使用seq2seq模型，不需要构建大量正负样例的样本，同时模型结构相比bert等预训练模型更加简单，同时在句子相似度计算任务上效果优异

本发明的技术方案：一种基于seq2seq模型的语义相似度计算方法，包括以下步骤：

S1、构建训练数据；

S2、文本预处理：去除一些对判断句子语义无关的特殊字符，对于文本中的链接、地名等信息进行归一化，映射为统一的字符；

S3、构建基于字粒度的字典，将文本映射为对应字典中的索引值，并输入Seq2seq模型进行训练；

S4、使用seq2seq模型的encoder部分进行用户提问句子的特征向量提取；

S5、通过计算特征向量间的相似度，从而匹配到与用户提问最相关的问法，将该问法对应的回复作为提问的回答。

上述的一种基于seq2seq模型的语义相似度计算方法，所述步骤S1的具体执行为：使用问法库中相同问法下的问法示例两两构建pair。

上述的一种基于seq2seq模型的语义相似度计算方法，所述步骤S3中训练的具体执行为：文本输入模型中之后，将模型中encoder部分的表征向量采用拼接的方式与目标句子的字向量结合后输入模型中的Decoder部分进行训练，模型优化时采用交叉熵损失函数。

上述的一种基于seq2seq模型的语义相似度计算方法，所述步骤S5中相似度计算采用余弦相似度作为句子相似度计算指标。

与现有技术相比，优点在于：

(1)本发明不需要像孪生网络那样构建大量的正负样例，只需相同问法下的示例两两构建pair进行训练，训练需要的数据量相对较少。

(2)本发明使用的seq2seq模型相比bert等大规模语料训练的预训练模型，结构更加简单，节约计算和存储成本。

(3)seq2seq模型训练后，能很好区分句子之间的语义相似性，在测试集上的评估效果优秀。

附图说明