[发明专利]对象关键点的检测模型训练的相关方法、装置、设备在审
申请号: | 202110412938.4 | 申请日: | 2021-04-16 |
公开(公告)号: | CN113408568A | 公开(公告)日: | 2021-09-17 |
发明(设计)人: | 谢宇;贾若然;谭昶;汤进;李成龙 | 申请(专利权)人: | 科大讯飞股份有限公司;安徽大学 |
主分类号: | G06K9/62 | 分类号: | G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 深圳市威世博知识产权代理事务所(普通合伙) 44280 | 代理人: | 何倚雯 |
地址: | 230088 安徽省*** | 国省代码: | 安徽;34 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 对象 关键 检测 模型 训练 相关 方法 装置 设备 | ||
1.一种对象关键点的检测模型训练方法,其特征在于,所述对象关键点的检测模型训练方法包括:
获取到样本图片,将所述样本图片输入到所述检测模型中,得到所述样本图片的初始特征图;其中,所述样本图片中包括样本对象;
基于所述初始特征图生成所述样本图片对应的第一热图;
基于标准检测结果与所述第一热图生成第二热图;
基于所述标准检测结果以及所述第一热图和/或第二热图对所述检测模型进行训练,得到训练后的检测模型。
2.根据权利要求1所述的对象关键点的检测模型训练方法,其特征在于,所述标准检测结果包括标准坐标结果以及标准分类结果;
所述基于所述初始特征图生成所述样本图片对应的第一热图的步骤包括:
将所述初始特征图输入到所述检测模型的第一沙漏网络中进行特征处理,得到包括多个通道的所述第一热图;其中,各通道对应包括各关键点的初始特征值;
所述基于标准检测结果与所述第一热图生成第二热图的步骤包括:
利用所述标准分类结果将所述第一热图的初始特征值进行融合;
将所述融合后的所述第一热图输入到所述检测模型的第二沙漏网络中再次进行特征处理,得到包括多个通道的所述第二热图;其中,各通道对应包括各关键点的特征值。
3.根据权利要求2所述的对象关键点的检测模型训练方法,其特征在于,所述对象包括车辆,所述标准分类结果包括可见关键点、不可见关键点或遮挡关键点;
所述利用所述标准分类结果将所述第一热图的初始特征值进行融合的步骤包括:
基于所述标准分类结果增大所述第一热图中可见关键点的初始特征值,以及缩小不可见关键点以及遮挡关键点的初始特征值。
4.根据权利要求2所述的对象关键点的检测模型训练方法,其特征在于,所述基于所述标准检测结果以及所述第一热图和/或第二热图对所述检测模型进行训练,得到训练后的检测模型的步骤包括:
将所述第一热图中各通道的特征值和/或所述第二热图中各通道的特征值与所述标准坐标结果对应的热图中的特征值进行逐像素多类交叉熵损失,以对所述检测模型进行训练。
5.根据权利要求1所述的对象关键点的检测模型训练方法,其特征在于,所述获取到样本图片的步骤还包括:
接收人工对所述样本图片进行处理,得到所述标准检测结果;或
接收所述检测模型对所述样本图片进行处理,得到所述标准检测结果的标准分类结果;以及
接收人工对所述样本图片进行处理,得到所述标准检测结果的标准坐标结果。
6.根据权利要求5所述的对象关键点的检测模型训练方法,其特征在于,所述接收所述检测模型对所述样本图片的处理,得到所述标准检测结果的步骤包括:
接收人工处理后的训练图片,获取所述训练图片的标准分类结果;
通过所述检测模型的分类网络对所述训练图片上对象的各关键点进行分类,得到各关键点的分类结果;
基于所述训练图片的标准分类结果以及所述分类结果对所述检测模型的分类网络进行训练,得到训练后的分类网络;
通过训练后的分类网络对所述样本图片进行分类处理,得到所述样本图片的标准分类结果。
7.根据权利要求1所述的对象关键点的检测模型训练方法,其特征在于,所述将所述样本图片输入到所述检测模型中,得到所述样本图片的初始特征图的步骤包括:
通过所述检测模型的特征提取网络对样本图片进行卷积处理以及池化处理,得到所述初始特征图。
8.根据权利要求1所述的对象关键点的检测模型训练方法,其特征在于,所述将所述样本图片输入到所述检测模型中,得到所述样本图片的初始特征图的步骤之前包括:
基于所述样本对象在所述样本图片中的位置对所述样本图片进行裁剪;
对裁剪后的样本图片进行尺寸调整,得到预处理后的样本图片。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于科大讯飞股份有限公司;安徽大学,未经科大讯飞股份有限公司;安徽大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110412938.4/1.html,转载请声明来源钻瓜专利网。