[发明专利]一种面向搜索排序的主动众包任务生成方法

摘要

本发明公开了一种面向搜索排序的主动众包任务生成方法，属于数据处理方法领域。本发明利用了主动学习，在众包任务生成过程中考虑用户输入的查询词与排序模型的结果，不仅使得生成的众包任务适合当前工人，还提高了任务对模型的针对性，能更高效地提升排序学习模型的训练效率，大大节约了众包的人力与时间成本。

主权项

1.一种面向搜索排序的主动众包任务生成方法，其特征在于，步骤如下：1)利用已标注数据训练排序学习模型，得到训练好的排序模型；所述的已标注数据为已经过人工打分的查询‑文档对，打分分值反映查询词与文档的相关程度；2)利用1)中训练好的排序模型对已标注数据进行打分，并对得到的打分进行最大最小归一化，使所有已标注数据的打分结果归一化后的分数值区间与人工打分的分数值区间相同；3)将所述的分数值区间划分为若干个子区间，然后对2)中每个已标注数据归一化后的模型打分分数与人工打分的分数进行求差，计算归一化后的模型打分分数落在每个子区间中的数据集对应的分数平均差值，计算方法为：式中：x_i表示第i个子区间中的数据集对应的分数平均差值，n_i为归一化后的模型打分分数落在第i个子区间中的已标注数据个数；y_ij为落在第i个子区间中的第j个已标注数据归一化后的模型打分分数与人工打分分数差值；4)根据3)中得到的x_i值，按照x_i值从大到小的顺序对所有子区间进行排序，得到排序最靠前的子区间；5)获取用户进行文档检索时输入的查询词，并将查询词与文档库中的所有文档进行匹配，形成若干查询‑文档对；6)利用1)中训练好的排序模型对5)中的所有查询‑文档对进行打分，按照打分结果向用户返回检索结果；7)将6)中所有查询‑文档对的打分结果进行最大最小归一化，归一化后的分数值区间与所述人工打分的分数值区间相同；8)从6)中经过打分的所有查询‑文档对中，筛选出未经过人工打分标记的查询‑文档对，然后从中选取归一化后的模型打分分数落在所述排序最靠前的子区间中的查询‑文档对，作为众包任务分发给工人进行人工打分标记；9)收集得到众包任务的反馈结果，并将结果计入已标注数据中；10)循环执行步骤1)～9)，不断生成众包任务并进行标记后用于训练排序学习模型，直至达到终止条件。