[发明专利]文本相似度判别方法

说明书

一种文本相似度判别方法，对去停用词后的第一和第二待判别文本均按词级和字符级分割；对词级分割后的第一和第二待判别分割文本训练量化获得第一和第二词级待判别数字向量，对字符级分割后的第一和第二待判别分割文本训练量化获得第一和第二字符级待判别数字向量；将第一词级和字符级待判别数字向量输入第一编码器训练，将第二词级和字符级待判别数字向量输入第二编码器训练；两编码器的输出结果分别相减及点乘并拼接；将拼接后数字向量进行平均池化和最大池化并拼接；将池化拼接后数字向量作为全连接层的输入以输出二维数字向量；将二维数字向量作为分类器的输入以获得分类二维数字向量，分析第一待判别文本和第二待判别文本的相似度。

技术领域

本发明涉及文本相似度判别技术领域，特别是涉及一种文本相似度判别方法。

背景技术

在人机对话领域，文本相似度计算在问答检索中有着重要的应用。随着深度学习的广泛应用，越来越多的神经网络模型在计算文本相似度时有很好的效果。在深度学习中，用于文本相似度计算的模型，代表性的有基于LSTM和CNN编码结构的孪生网络，但是这些文本计算模型存在特征提取不全，泛化性差的的缺点，为了解决上述问题，提出一种新型文本相似度判断方法。

发明内容

本发明针对现有技术存在的问题和不足，提供一种新的文本相似度判别方法。

本发明是通过下述技术方案来解决上述技术问题的：

本发明提供一种文本相似度判别方法，其特点在于，其包括以下步骤：

S1、对第一待判别文本和第二待判别文本进行去停用词预处理，对作为训练语料的去停用词后的第一待判别文本和第二待判别文本均按照词级和字符级进行分割；

S2、对词级分割后的第一待判别分割文本和第二待判别分割文本进行训练量化以获得第一词级待判别数字向量和第二词级待判别数字向量，对字符级分割后的第一待判别分割文本和第二待判别分割文本进行训练量化以获得第一字符级待判别数字向量和第二字符级待判别数字向量；

S3、将第一词级待判别数字向量和第一字符级待判别数字向量输入至第一编码器的第一层神经网络中进行训练以输出第一层待判别数字向量一，将第二词级待判别数字向量和第二字符级待判别数字向量输入至第二编码器的第一层神经网络中进行训练以输出第一层待判别数字向量二；

S4、将第一层待判别数字向量一、第一词级待判别数字向量和第一字符级待判别数字向量输入至第一编码器的第二层神经网络中进行训练以输出第二层待判别数字向量一，将第一层待判别数字向量二、第二词级待判别数字向量和第二字符级待判别数字向量输入至第二编码器的第二层神经网络中进行训练以输出第二层待判别数字向量二；

S5、将第二层待判别数字向量一、第一层待判别数字向量一、第一词级待判别数字向量和第一字符级待判别数字向量输入至第一编码器的第三层神经网络中进行训练以输出第三层每一个时刻的输出向量，得到第一待判别文本的表示矩阵，将第二层待判别数字向量二、第一层待判别数字向量二、第二词级待判别数字向量和第二字符级待判别数字向量输入至第二编码器的第三层神经网络中进行训练以输出第三层每一个时刻的输出向量，得到第二待判别文本的表示矩阵；

S6、将第一待判别文本的表示矩阵输入至第一编码器的卷积神经网络中进行训练以输出第一卷积待判别数字向量，将第二待判别文本的表示矩阵输入至第二编码器的卷积神经网络中进行训练以输出第二卷积待判别数字向量；

S7、分别将第一卷积待判别数字向量和第二卷积待判别数字向量进行相减以及点乘，将相减后的数字向量和点乘后的数字向量进行融合拼接；

S8、将拼接后的数字向量进行平均池化和最大池化，将平均池化后的数字向量和最大池化后的数字向量进行融合拼接；

S9、将池化拼接后的数字向量作为全连接层的输入以输出一行两列的二维数字向量；