[发明专利]一种基于深度文本匹配模型的文本排序方法

说明书

本发明公开一种基于深度文本匹配模型的文本排序方法，本方法将句子对输入模型，直接由模型计算得出相似度。采用m表示相似度登记，可以表示等级更高的情况，这样可以更加充分利用句子之间相似程度信息。损失函数不仅考虑了整个句子序列与问题Q之间相似程度信息，还对排序靠前位置给与更高的权重，使得训练得到的模型在排序后靠前位置的准确度更高。综合而言，本方法更加充分利用句子之间相似程度信息，提高排序准确性。

技术领域

本发明涉及自然语言处理领域，尤其是文本排序领域，具体是一种基于深度文本匹配模型的文本排序方法。

背景技术

现有的深度文本匹配模型进行训练大多采用句子对匹配的方法，即句子对(A， B)相似与否，而没有充分利用句子之间相似程度的信息，即对于句子序列(Q， A1，A2，..，An)，所有句子Ai中哪一个与句子Q更加相似。此方法训练出来的深度文本匹配模型只能关注到句子对相似与否，不能充分利用句子之间相似程度的信息，对输入文本排序时，必然会造成排序不够准备的问题。

发明内容

本发明要解决的技术问题是提供一种基于深度文本匹配模型的文本排序方法，更加充分利用句子之间相似程度信息，提高排序准确性。

为了解决所述技术问题，本发明采用的技术方案是：一种基于深度文本匹配模型的文本排序方法，包括以下步骤：

S01)、模型训练，首先准备训练集，将单个样本组织为一个句子序列(Q，A1，A2，…，Ai，…， An)，其中Q表示被对比句，A1至An表示n个要与Q进行对比的对比句，单个样本中句子对(Q，Ai)的真实相似度为r(i)，对于其他样本进行相同操作，形成训练集；

将所有样本按照一定的batch_size输入深度文本匹配模型，batch_size表示训练过程每一步需要的样本数目；首先将句子序列中的问题Q分别与句子Ai组成句对(Q，Ai)，然后分别将句对输入深度文本匹配模型进行计算，得到句对的预测相似度值si；

对于单个样本损失计算如下：其中s_i、s_j分别表示由模型计算的句子对(Q，Ai)和(Q，Aj)的预测相似度， r(i)、r(j)分别表示句子对(Q，Ai)和(Q，Aj)的真实相似度，ΔNDCG表示交换位置i,j前后计算的NDCG的差值，用来表示排错的代价；σ表示σ激活函数；根据上述损失值调整深度文本匹配模型的参数，从而得出训练好的深度文本匹配模型；

S02)、利用步骤S01)训练好的深度文本匹配模型对输入的语句进行文本排序。

进一步的，计算ΔNDCG的过程为：

给定被对比句Q和对比句序列(A1，A2，…，Ai，…，An)，r(i)表示Q与Ai之间的真实相似度，si表示模型预测的Q与Ai之间的预测相似度，将句子序列(A1， A2，..，Ai，..，An)按照r(i)由大到小进行排序，然后取每个句子对应的r(i) 得到最理想的相似度序列D1；将句子序列(A1，A2，..，Ai，..，An)按照si 由大到小进行排序，然后取每个句子对应的r(i)得到相似度序列D2，为了评估排序质量，规定：

则对于序列D1，其对应的score为：

对于序列D2，其对应的其对应的score为：

令交换句子i、j的位置，i＝1,2，…，n，j＝1,2，…，n，分别计算交换之后D1、D2 对应的NDCG，ΔNDCG则表示交换位置i,j前后计算的NDCG的差值。

进一步的，句对的真实相似度采用m级表示，即m,m-1,..,1，m为不小于3 的正整数，m数值越大，相关度越高。

进一步的，真实相似度为整数，预测相似度为浮点数。