[发明专利]基于词迁徙学习的深度文本匹配方法及装置

摘要

本申请提供了一种基于词迁徙学习的深度文本匹配方法及装置，在训练深度匹配模型时，融合BERT模型并对其做预训练；然后，利用预训练后的BERT模型，将输入的句子对中的语句分别用初始词向量表示，再将用初始词向量表示的句子对中的语句进行相似性加权，得到加权后的语句向量；最后，根据语句向量的相似度值对应的损失值，调整模型参数，利用参数调整最终得到的深度匹配模型，对输入的语句进行文本匹配。由于预训练后的BERT模型的参数不再是随机初始化的参数、且在预训练BERT模型中还加入词性预测，丰富词向量语义信息。因此，用训练的BERT模型对句子对中的语句用词向量表示的语义更为准确，促进训练后模型的匹配准确率提升。

主权项

1.一种基于词迁徙学习的深度文本匹配方法，应用于深度匹配模型，其特征在于，所述方法包括：将从语料集抽取的语句序列输入至BERT模型，对所述BERT模型进行预训练，其中，所述预训练的任务包括所述语句序列中两个语句是否为上下句的预测、两个语句中掩盖词预测和所述掩盖词的词性预测；利用预训练后的BERT模型，将输入的句子对中的语句分别用词向量表示，得到所述句子对中各语句的词向量矩阵；利用各所述词向量矩阵所对应的相似度矩阵，生成所述句子对中的语句彼此相似性加权后的语句向量；根据各所述语句向量之间的匹配程度值，计算预设损失函数的损失值；根据所述损失值，调整所述深度匹配模型的参数；利用参数调整所最终得到的深度匹配模型，对输入的语句进行文本匹配。