[发明专利]关键点检测的方法、装置、电子设备及存储介质在审
申请号: | 202010239542.X | 申请日: | 2020-03-30 |
公开(公告)号: | CN111444928A | 公开(公告)日: | 2020-07-24 |
发明(设计)人: | 金晟;刘文韬;钱晨 | 申请(专利权)人: | 北京市商汤科技开发有限公司 |
主分类号: | G06K9/46 | 分类号: | G06K9/46;G06K9/62;G06N3/04 |
代理公司: | 北京中知法苑知识产权代理有限公司 11226 | 代理人: | 李明;赵吉阳 |
地址: | 100142 北京市海淀区北*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 关键 检测 方法 装置 电子设备 存储 介质 | ||
1.一种关键点检测的方法,其特征在于,包括:
确定包括目标对象的目标图像;
对所述目标图像进行第一关键点检测,得到所述目标对象的关键位置信息;所述关键位置信息包括所述目标对象上的第一关键点信息,以及所述目标对象的至少一个目标部位分别对应的检测框的位置点信息;
基于所述目标对象的每个所述目标部位对应的检测框的位置点信息,对每个所述目标部位在所述目标图像中的图像区域进行第二关键点检测,得到每个所述目标部位对应的第二关键点信息;
基于所述第一关键点信息和所述第二关键点信息,确定所述目标对象的对象关键点信息。
2.根据权利要求1所述的方法,其特征在于,所述对所述目标图像进行第一关键点检测,得到所述目标对象的关键位置信息,包括:
对所述目标图像进行第一卷积处理,得到第一特征图;
基于所述第一特征图,确定所述目标对象的关键位置信息;
所述基于所述目标对象的每个所述目标部位分别对应的检测框的位置点信息,对该目标部位在所述目标图像中的图像区域进行第二关键点检测,得到该目标部位对应的第二关键点信息,包括:
基于所述目标对象的每个所述目标部位分别对应的检测框的位置点信息,从所述第一特征图中截取与每个所述目标部位对应的第二特征图;
基于所述第二特征图,确定每个所述目标部位对应的第二关键点信息。
3.根据权利要求2所述的方法,其特征在于,根据以下步骤对目标特征图进行卷积处理,确定目标关键点信息,其中,在所述目标特征图为所述第一特征图的情况下,所述目标关键点信息为所述目标对象的关键位置信息,在所述目标特征图为所述第二特征图的情况下,所述目标关键点信息为所述目标部位对应的第二关键点信息:
对所述目标特征图进行多次特征处理,生成多个尺寸不同的中间特征图;
将多个所述中间特征图进行融合处理,得到融合特征图;
基于所述融合特征图,确定所述目标关键点信息。
4.根据权利要求3所述的方法,其特征在于,所述对所述目标特征图进行多次特征处理,包括:根据以下步骤进行当前次特征处理:
针对进行当前次特征处理前的不同尺寸的特征图,分别进行至少一级卷积处理,得到不同尺寸的卷积特征图;
将所述不同尺寸的卷积特征图进行多种融合处理,得到当前次特征处理后的不同尺寸的特征图。
5.根据权利要求2至4任一所述的方法,其特征在于,所述第一特征图包括多级第一特征图,不同级第一特征图为经过不同级卷积处理得到的,所述基于所述目标对象的每个所述目标部位分别对应的检测框的位置点信息,从所述第一特征图中截取与该目标部位对应的第二特征图,包括:
基于所述目标对象的每个所述目标部位分别对应的检测框的位置点信息,从所述多级第一特征图中的不同级第一特征图中,分别截取与所述目标部位对应的第二特征图。
6.根据权利要求1至5任一所述的方法,其特征在于,所述目标对象包括人物,第一关键点至少分布在所述人物的四肢、头部上;
所述第一关键点的数量范围为5~25。
7.根据权利要求1至6任一所述的方法,其特征在于,所述目标部位包括人物的面部、脚部、手部中的至少一种;
在所述目标部位包括面部的情况下,面部对应的第二关键点至少分布在所述人物的脸部轮廓、眼睛、眉毛、鼻子、和嘴唇中的至少一个区域;
在所述目标部位包括脚部的情况下,脚部对应的第二关键点至少分布在所述脚部的至少一根脚趾、脚心、以及脚跟中的至少一个区域;
在所述目标部位包括手部的情况下,手部对应的第二关键点至少分布在所述手部的至少一根手指、以及手心中的至少一个区域。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京市商汤科技开发有限公司,未经北京市商汤科技开发有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202010239542.X/1.html,转载请声明来源钻瓜专利网。