[发明专利]目标检测模型训练方法、目标检测方法、装置和电子设备在审
申请号: | 202211715577.1 | 申请日: | 2022-12-29 |
公开(公告)号: | CN116030235A | 公开(公告)日: | 2023-04-28 |
发明(设计)人: | 杨馥魁 | 申请(专利权)人: | 北京百度网讯科技有限公司 |
主分类号: | G06V10/20 | 分类号: | G06V10/20;G06V10/44;G06V10/764;G06N3/0464;G06N3/096 |
代理公司: | 北京品源专利代理有限公司 11332 | 代理人: | 马迪 |
地址: | 100085 北京市*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 目标 检测 模型 训练 方法 装置 电子设备 | ||
1.一种目标检测模型训练方法,包括:
在教师模型中,将样本图像输入图像特征提取网络得到教师图像特征,并将所述教师图像特征输入编码器得到教师序列特征;将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量,并根据所述增强教师查询向量进行预测得到教师预测信息;
在学生模型中,将所述样本图像输入图像特征提取网络得到学生图像特征,并将所述学生图像特征输入编码器得到学生序列特征;将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量,并根据所述增强学生查询向量进行预测得到学生预测信息;
根据所述教师预测信息、所述学生预测信息和样本图像的真值信息,对所述教师查询向量进行训练,并对所述学生模型进行训练。
2.根据权利要求1所述的方法,其中,所述将可学习的教师查询向量和所述教师序列特征输入解码器得到增强教师查询向量,包括:
将可学习的教师查询向量输入解码器中的自注意力层得到教师自注意力特征,且将所述教师自注意力特征和所述教师序列特征输入解码器中的交叉注意力层得到增强教师查询向量;
所述方法还包括:
根据所述教师预测信息、所述学生预测信息和样本图像的真值信息,对教师模型中的交叉注意力层进行训练。
3.根据权利要求1所述的方法,其中,所述将可学习的学生查询向量和所述学生序列特征输入解码器得到增强学生查询向量,包括:
生成随机数;
在所述随机数大于数量阈值的情况下,采用所述教师序列特征替换所述学生序列特征,得到经替换的学生序列特征;
将可学习的学生查询向量输入解码器中的自注意力层得到学生自注意力特征,且将所述学生自注意力特征和经替换的学生序列特征输入解码器中的交叉注意力层得到增强学生查询向量。
4.根据权利要求1所述的方法,其中,所述根据所述教师预测信息、所述学生预测信息和样本图像的真值信息,对所述教师查询向量进行训练,并对所述学生模型进行训练,包括:
根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失;
根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失,并根据所述学生预测信息和所述样本图像的真值信息构建第一学生损失;
采用所述第一蒸馏损失和所述第一教师损失,对所述教师查询向量进行训练;
采用所述第一蒸馏损失和所述第一学生损失,对所述学生模型进行训练。
5.根据权利要求2所述的方法,其中,所述根据所述教师预测信息、所述学生预测信息和样本图像的真值信息,对教师模型中的交叉注意力层进行训练,包括:
根据所述教师预测信息和所述学生预测信息构建第一蒸馏损失;
根据所述教师预测信息和所述样本图像的真值信息构建第一教师损失;
采用所述第一蒸馏损失和所述第一教师损失,对教师模型中的交叉注意力层进行训练。
6.根据权利要求1所述的方法,所述方法还包括:
对学生模型中的解码器进行复制,作为中间解码器;
将可学习的中间查询向量和所述学生序列特征输入所述中间解码器得到增强中间查询向量,并根据所述增强中间查询向量进行预测得到中间预测信息;
所述根据所述教师预测信息、所述学生预测信息和样本图像的真值信息,对所述教师查询向量进行训练,并对所述学生模型进行训练,包括:
根据所述教师预测信息、所述学生预测信息、所述中间预测信息和样本图像的真值信息,对所述教师查询向量进行训练,并对所述中间解码器和所述学生模型中进行训练。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京百度网讯科技有限公司,未经北京百度网讯科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202211715577.1/1.html,转载请声明来源钻瓜专利网。