[发明专利]搜索排序模型训练方法及装置、搜索排序方法及装置

权利要求书

1.一种搜索排序模型训练方法，其特征在于，包括：

基于搜索查询领域的预设训练样本集对BERT模型进行预训练，得到与所述搜索查询领域匹配的BERT模型参数；

通过所述BERT模型参数初始化预设匹配识别模型的BERT编码网络，并基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，其中，所述基于对所述预设训练样本集进行抽样后得到的第一样本集合，训练所述预设匹配识别模型，包括：通过分别对所述第一样本集合中各第一训练样本的样本数据中各维度信息之间的匹配关系进行学习，确定所述BERT编码网络用于进行特征编码的网络参数；

通过所述网络参数初始化预设搜索排序模型的所述BERT编码网络，并基于对所述预设训练样本集进行抽样得到的第二样本集合，训练所述预设搜索排序模型；其中，所述第二样本集合中的每条第二训练样本包括与查询输入对应的多条正例搜索内容和多条负例搜索内容。

2.根据权利要求1所述的方法，其特征在于，所述第一样本集合中每条第一训练样本的样本数据包括以下维度信息：查询输入、查询类型、与查询输入对应的一条搜索内容；所述通过分别对所述第一样本集合中各第一训练样本的样本数据中各维度信息之间的匹配关系进行学习，确定所述BERT编码网络用于进行特征编码的网络参数的步骤，包括：

根据所述第一样本集合中每个第一训练样本包括的查询输入、查询类型、与查询输入对应的一条搜索内容，分别确定与每条所述第一训练样本对应的序列输入；

通过预设匹配识别模型的BERT编码网络对每个所述序列输入进行编码映射，分别确定各所述第一训练样本对应的隐层输出；

通过所述预设匹配识别模型的输出层将每个所述隐层输出映射为所述第一训练样本对应的匹配度预测值；

通过交叉熵损失函数，根据所有所述第一训练样本对应的匹配度预测值，优化所述预设匹配识别模型的网络参数。

3.根据权利要求1所述的方法，其特征在于，所述基于对所述预设训练样本集进行抽样得到的第二样本集合，训练所述预设搜索排序模型的步骤，包括：

分别确定与所述第二样本集合中每条第二训练样本对应的多个序列输入；

通过所述预设搜索排序模型的BERT编码网络，对每个所述序列输入进行编码映射，分别确定各所述序列输入对应的正例搜索内容或负例搜索内容对应的隐层输出；

通过所述预设搜索排序模型的单层感知机分别对各所述正例搜索内容或负例搜索内容对应的隐层输出进行降维处理，得到各所述正例搜索内容或负例搜索内容对应的排序得分；

对各所述正例搜索内容或负例搜索内容对应的排序得分进行归一化处理，得到各所述正例搜索内容或负例搜索内容对应的归一化排序得分；

通过对正例搜索内容对应的归一化排序得分进行负对数似然损失优化，训练所述预设搜索排序模型的网络参数。

4.根据权利要求3所述的方法，其特征在于，所述分别确定与所述第二样本集合中每条第二训练样本对应的多个序列输入，包括：

对于所述第二样本集合中每个第二训练样本，分别执行以下操作：

通过预设匹配识别模型的BERT编码网络，对所述第二训练样本包括的查询输入中未包含在预设词表内的词、所述第二训练样本包括的正例搜索内容和负例搜索内容中未包含在所述预设词表中的词，分别基于所述预设词表进行切分，得到每个所述词对应的词语片段；

将所述查询输入中包含在所述预设词表中的词、对所述查询输入中未包含在所述预设词表中的词切分得到的词语片段、查询类型、所述正例搜索内容和负例搜索内容中包含在所述预设词表中的词、对所述正例搜索内容和负例搜索内容中未包含在所述预设词表中的词切分得到的词语片段，进行拼接，确定所述第二训练样本对应的多个序列输入，其中，所述第二训练样本对应的每个序列输入分别对应所述第二训练样本包括的一个正例搜索内容或一个负例搜索内容。