[发明专利]排序方法及装置,排序模型训练方法及装置,电子设备在审
申请号: | 202111674716.6 | 申请日: | 2021-12-31 |
公开(公告)号: | CN114443986A | 公开(公告)日: | 2022-05-06 |
发明(设计)人: | 李想;黄培浩;肖垚;陈达遥;陈胜 | 申请(专利权)人: | 北京三快在线科技有限公司 |
主分类号: | G06F16/9538 | 分类号: | G06F16/9538;G06N3/04;G06N3/08 |
代理公司: | 北京润泽恒知识产权代理有限公司 11319 | 代理人: | 任亚娟 |
地址: | 100080 北京市海*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 排序 方法 装置 模型 训练 电子设备 | ||
1.一种排序方法,其特征在于,包括:
获取待粗排序的候选召回对象;
通过预先训练的粗排序模型,获取各所述候选召回对象的粗排序指标值,其中,所述粗排序模型是通过以下方法训练的:通过预先训练的精排序模型对候选粗排序模型进行知识蒸馏,迭代优化所述候选粗排序模型的架构参数和网络参数,以得到所述粗排序模型,其中,所述候选粗排序模型的网络架构通过在预先定义的网络架构搜索空间中进行搜索得到;
根据所述粗排序指标值对所述候选召回对象进行排序筛选,得到输出至所述精排序模型进行精排序的所述候选召回对象。
2.根据权利要求1所述的方法,其特征在于,所述网络架构搜索空间包括多层网络单元,每层网络单元的数量大于2,且每层中的各网络单元对应的隐藏层数量各不相同;所述通过预先训练的精排序模型对候选粗排序模型进行知识蒸馏,迭代优化所述候选粗排序模型的架构参数和网络参数,以得到所述粗排序模型的步骤,包括:
在预先定义的网络架构搜索空间中搜索粗排序模型的各候选网络架构,分别构成候选粗排序模型,所述候选网络架构由从每层所述网络单元中最多选择1个网络单元构成;
对于每个所述候选粗排序模型,以预先训练的精排序模型作为教师网络,以所述候选粗排序模型作为学生网络,基于预设训练样本,迭代优化所述候选粗排序模型的架构参数和网络参数,以训练所述候选粗排序模型;其中,所述架构参数用于指示相应所述候选粗排序模型的每层网络单元中各所述网络单元的选择概率;
选择所述网络架构搜索空间的每层所述网络单元中所述选择概率最大的所述网络单元,构成粗排序模型。
3.根据权利要求2所述的方法,其特征在于,所述以预先训练的精排序模型作为教师网络,以所述候选粗排序模型作为学生网络,基于预设训练样本,迭代优化所述候选粗排序模型的架构参数和网络参数,以训练所述候选粗排序模型的步骤,包括:
通过所述候选粗排序模型对预设的训练样本进行编码映射,获取所述候选粗排序模型对应所述训练样本的输出和粗排序损失值;
获取所述精排序模型对所述训练样本进行编码映射得到的对应所述训练样本的输出,并根据所述候选粗排序模型对应所述训练样本的输出,以及,所述精排序模型对应所述训练样本的输出之间的相似度距离,计算精排蒸馏损失值;
通过融合所述粗排序损失值和所述精排蒸馏损失值,获取融合损失值;
以所述融合损失值最小为目标,优化所述候选粗排序模型的架构参数和网络参数,并对所述候选粗排序模型进行迭代训练,直至达到迭代训练终止条件。
4.根据权利要求3所述的方法,其特征在于,所述通过融合所述粗排序损失值和所述精排蒸馏损失值,获取融合损失值的步骤,包括:
通过对所述粗排序损失值和所述精排蒸馏损失值进行加权求和,获取融合损失值。
5.根据权利要求3所述的方法,其特征在于,所述通过融合所述粗排序损失值和所述精排蒸馏损失值,获取融合损失值的步骤,包括:
通过对所述粗排序损失值、所述精排蒸馏损失值,以及,所述候选粗排序模型的网络延迟损失值进行加权融合,获取融合损失值;其中,所述网络延迟损失值通过对每一层所述网络单元的延时以相应网络单元的选择概率作为权值,进行递归加权求和运算得到。
6.一种排序模型训练方法,其特征在于,包括:
在预先定义的网络架构搜索空间中搜索粗排序模型的各候选网络架构,分别构成候选粗排序模型,其中,所述网络架构搜索空间包括多层网络单元,每层网络单元的数量大于2,且每层中的各网络单元对应的隐藏层数量各不相同,所述候选网络架构由从每层所述网络单元中最多选择1个网络单元构成;
对于每个所述候选粗排序模型,以预先训练的精排序模型作为教师网络,以所述候选粗排序模型作为学生网络,基于预设训练样本,迭代优化所述候选粗排序模型的架构参数和网络参数,以训练所述候选粗排序模型;其中,所述架构参数用于指示相应所述候选粗排序模型的每层网络单元中各所述网络单元的选择概率;
选择所述网络架构搜索空间的每层所述网络单元中所述选择概率最大的所述网络单元,构成粗排序模型。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京三快在线科技有限公司,未经北京三快在线科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202111674716.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:用于拉曼光谱检测的安全防护装置及系统
- 下一篇:数字预失真系统及发射机