[发明专利]排序方法及装置,排序模型训练方法及装置,电子设备在审
申请号: | 202111674716.6 | 申请日: | 2021-12-31 |
公开(公告)号: | CN114443986A | 公开(公告)日: | 2022-05-06 |
发明(设计)人: | 李想;黄培浩;肖垚;陈达遥;陈胜 | 申请(专利权)人: | 北京三快在线科技有限公司 |
主分类号: | G06F16/9538 | 分类号: | G06F16/9538;G06N3/04;G06N3/08 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 任亚娟 |
地址: | 100080 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 排序 方法 装置 模型 训练 电子设备 | ||
本申请公开了一种排序方法,属于计算机技术领域,有助于改善粗排序效果。本方法包括:获取待粗排序的候选召回对象;通过预先训练的粗排序模型,获取各候选召回对象的粗排序指标值,其中,粗排序模型通过预先训练的精排序模型对候选粗排序模型进行知识蒸馏,迭代优化所述候选粗排序模型的架构参数和网络参数后得到的,候选粗排序模型的网络架构通过在预先定义的网络架构搜索空间中进行搜索得到;根据粗排序指标值对候选召回对象进行排序筛选,得到输出至精排序模型的候选召回对象。本方法通过动态搜索粗排序模型的网络架构,并以精排序模型的输出做训练指导,使得训练得到的粗排序模型输出的排序结果与精排序模型的输出更匹配,更加符合展示效果。
技术领域
本申请涉及计算机技术领域,特别是涉及排序方法及装置,排序模型训练方法及装置、电子设备及计算机可读存储介质。
背景技术
工业级的搜索引擎架构往往采用匹配、粗排、精排、重排的架构。其中,粗排层处在匹配层和精排层之间,该层的主要目标是从匹配层输出的上万数量级的候选召回集合中选择出最好的百数量级别的召回结果,输入至精排层。由于输入至粗排层的候选排序集合中候选召回结果数量较大,因此对粗排层的排序效率要求比较高。另一方面,由于粗排层与最终结果展示环节较远,粗排数据选择存在较大偏置,因此对排序效果要求较高。现有技术中,采用简单模型结合精排蒸馏的粗排序模型架构,通过引入精排蒸馏在一定程度上可以弥补模型对展示效果的表达能力,但是由于固定子模型结果做效果蒸馏,导致了最终搜索效果次优。
可见,现有技术中的排序方法还有待改进。
发明内容
本申请实施例提供一种排序方法,有助于改善输出至精排层的召回候选与最终展示效果的匹配度。
第一方面,本申请实施例提供了一种排序方法,包括:
获取待粗排序的候选召回对象;
通过预先训练的粗排序模型,获取各所述候选召回对象的粗排序指标值,其中,所述粗排序模型是通过以下方法训练的:通过预先训练的精排序模型对候选粗排序模型进行知识蒸馏,迭代优化所述候选粗排序模型的架构参数和网络参数,以得到所述粗排序模型,其中,所述候选粗排序模型的网络架构通过在预先定义的网络架构搜索空间中进行搜索得到;
根据所述粗排序指标值对所述候选召回对象进行排序筛选,得到输出至所述精排序模型进行精排序的所述候选召回对象。
第二方面,本申请实施例提供了一种排序装置,包括:
候选召回对象获取模块,用于获取待粗排序的候选召回对象;
粗排序指标值获取模块,用于通过预先训练的粗排序模型,获取各所述候选召回对象的粗排序指标值,其中,所述粗排序模型是通过以下方法训练的:通过预先训练的精排序模型对候选粗排序模型进行知识蒸馏,迭代优化所述候选粗排序模型的架构参数和网络参数,以得到所述粗排序模型,其中,所述候选粗排序模型的网络架构通过在预先定义的网络架构搜索空间中进行搜索得到;
粗排序输出模块,用于根据所述粗排序指标值对所述候选召回对象进行排序筛选,得到输出至所述精排序模型进行精排序的所述候选召回对象。
第三方面,本申请实施例提供了一种排序模型训练方法,包括:
在预先定义的网络架构搜索空间中搜索粗排序模型的各候选网络架构,分别构成候选粗排序模型,其中,所述网络架构搜索空间包括多层网络单元,每层网络单元的数量大于2,且每层中的各网络单元对应的隐藏层数量各不相同,所述候选网络架构由从每层所述网络单元中最多选择1个网络单元构成;
对于每个所述候选粗排序模型,以预先训练的精排序模型作为教师网络,以所述候选粗排序模型作为学生网络,基于预设训练样本,迭代优化所述候选粗排序模型的架构参数和网络参数,以训练所述候选粗排序模型;其中,所述架构参数用于指示相应所述候选粗排序模型的每层网络单元中各所述网络单元的选择概率;
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司,未经北京三快在线科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111674716.6/2.html,转载请声明来源钻瓜专利网。
- 上一篇:用于拉曼光谱检测的安全防护装置及系统
- 下一篇:数字预失真系统及发射机