[发明专利]排序模型确定方法、排序方法、装置及电子设备

权利要求书

1.一种排序模型确定方法，其特征在于，包括：

通过搜索引擎，从文档数据库中，召回多个与训练问题集对应的候选文档集，多个所述候选文档集中，每个候选文档集包括的候选文档数量不同；

针对多个所述候选文档集中的每个候选文档集，根据所述训练问题集中每个训练问题对应的问题答案，为所述候选文档集包括的每篇候选文档添加文档标记；

针对多个所述候选文档集中的每个候选文档集，构建对应的训练数据集，以获得多个训练数据集，所述训练数据集包括所述训练问题集中每个训练问题，以及所述训练数据集对应的候选文档集中，添加有文档标记的每篇候选文档；

通过所述多个训练数据集，分别对预训练语言模型进行训练，获得多个排序模型；

分别对所述多个排序模型进行测试，获得多个测试结果，以根据所述多个测试结果，从所述多个排序模型中选取出目标模型。

2.根据权利要求1所述的排序模型确定方法，其特征在于，所述通过搜索引擎，从文档数据库中，召回多个与训练问题集对应的候选文档集，包括：

确定出多个比例数值，所述多个比例数值中，每个比例数值不同，且每个比例数值为大于1的整数；

针对所述多个比例数值中的每个比例数值，针对所述训练问题集中的每个训练问题，通过所述搜索引擎，从所述文档数据库中，召回所述比例数值篇与所述训练问题对应的候选文档，组成一个所述候选文档集，以获得多个所述候选文档集。

3.根据权利要求2所述的排序模型确定方法，其特征在于，所述通过所述搜索引擎，从所述文档数据库中，召回所述比例数值篇与所述训练问题对应的候选文档，组成一个所述候选文档集，包括：

通过关键词抽取算法，从所述训练问题中，获取至少一个关键词；

通过所述搜索引擎，从所述文档数据库中，召回所述比例数值篇与所述至少一个关键词对应的候选文档，组成一个所述候选文档集。

4.根据权利要求1或2所述的排序模型确定方法，其特征在于，所述文档标记包括第一文档标记和第二文档标记，所述根据所述训练问题集中每个训练问题对应的问题答案，为所述候选文档集包括的每篇候选文档添加文档标记，包括：

针对所述候选文档集中包括的每篇候选文档，确定出与所述候选文档对应的训练问题，并判断所述候选文档中，是否包括与所述训练问题对应的问题答案；

若所述候选文档中，包括与所述训练问题对应的问题答案，则为所述候选文档添加第一文档标记；

若所述候选文档中，不包括与所述训练问题对应的问题答案，则为所述候选文档添加第二文档标记。

5.根据权利要求2所述的排序模型确定方法，其特征在于，所述分别对所述多个排序模型进行测试，获得多个测试结果，以根据所述多个测试结果，从所述多个排序模型中选取出目标模型，包括：

针对所述多个排序模型中的每个排序模型，确定出所述排序模型对应的比例数值，并针对测试问题集中的每个测试问题，通过所述搜索引擎，从所述文档数据库中，召回所述比例数值篇与所述测试问题对应的测试文档，构建一个测试文档集，以获得多个所述测试文档集；

针对多个所述测试文档集中的每个测试文档集，从所述多个排序模型中，确定出与所述测试文档集对应的排序模型，以将所述测试问题集中的每个测试问题，以及所述测试文档中的每篇测试文档输入所述排序模型，以使所述排序模型输出针对所述测试问题集中的每个测试问题的文档排序结果；

针对所述多个排序模型中的每个排序模型，获得所述排序模型输出的针对所述测试问题集中的所有测试问题的文档排序结果的准确率，作为所述排序模型对应的测试结果，以获得所述多个测试结果；

从所述多个测试结果中选取出数值最高的测试结果，以将所述数值最高的测试结果对应的排序模型，作为所述目标模型。

6.一种排序方法，其特征在于，包括:

获取多篇目标文档，所述多篇目标文档通过搜索引擎，从文档数据库中召回，且与目标问题对应；

将所述目标问题和所述多篇目标文档输入目标模型，以使所述目标模型输出所述多篇目标文档的排序结果，所述目标模型通过权利要求1～5中任意一项所述的排序模型确定方法训练获得。