[发明专利]人脸位姿估计方法、装置、电子设备及存储介质在审
申请号: | 202210129785.7 | 申请日: | 2022-02-11 |
公开(公告)号: | CN114519881A | 公开(公告)日: | 2022-05-20 |
发明(设计)人: | 杨战波;黄泽元;祁晓婷;蒋召 | 申请(专利权)人: | 深圳集智数字科技有限公司 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V10/764;G06V10/80;G06V10/82;G06K9/62;G06T3/40;G06T7/73;G06N3/04;G06N3/08 |
代理公司: | 北京嘉科知识产权代理事务所(特殊普通合伙) 11687 | 代理人: | 杨超 |
地址: | 518000 广东省深圳市南*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人脸位姿 估计 方法 装置 电子设备 存储 介质 | ||
1.一种人脸位姿估计方法,其特征在于,包括:
获取包含人脸信息的目标图像,并将所述目标图像输入到预先构建的位姿估计模型中;
在所述位姿估计模型中,利用浅层密集连接层对所述目标图像进行特征提取,得到包含浅层特征信息的多个第一特征图;
将多个所述第一特征图作为深层特征复用层的输入,利用所述深层特征复用层分别对多个所述第一特征图执行信息融合操作得到第二特征图,以便在所述浅层特征信息中融入深层特征信息;
利用注意力层对所述第二特征图中的人脸位姿信息进行提取,得到包含所述人脸位姿信息的第三特征图,利用分类器对所述第三特征图进行预测,得到所述第三特征图对应人脸位姿的预测结果,根据所述预测结果确定所述目标图像中的人脸位姿。
2.根据权利要求1所述的方法,其特征在于,采用以下方式构建所述位姿估计模型,包括:
获取包含人脸信息的原始图像,利用人脸检测模型对所述原始图像进行检测,得到所述原始图像对应的人脸图像以及人脸框,并获取所述原始图像中的人脸位姿信息,利用所述人脸图像、所述人脸框的位置坐标、以及所述人脸位姿信息生成第一数据集;
基于所述原始图像以及所述人脸框的位置坐标,利用预设的裁剪方式对所述原始图像进行裁剪,得到裁剪后的人脸图像,利用所述裁剪后的人脸图像、所述人脸框的位置坐标、以及所述人脸位姿信息生成第二数据集;
对所述第一数据集以及所述第二数据集进行组合得到训练集,利用所述训练集对位姿估计模型进行训练,得到训练后的位姿估计模型。
3.根据权利要求2所述的方法,其特征在于,所述训练集中包含人脸图像以及标注信息,将所述标注信息用于作为模型训练时的标签,所述标注信息中包含所述人脸框对应的多个标注点,以及多个位姿角度;
其中,所述人脸框的标注点包括人脸框对应的任一角点坐标、以及所述人脸框的宽度和高度,所述位姿角度包括俯仰角、偏航角和翻滚角。
4.根据权利要求1所述的方法,其特征在于,所述利用浅层密集连接层对所述目标图像进行特征提取,得到包含浅层特征信息的多个第一特征图,包括:
所述浅层密集连接层中包含多个依次连接的卷积模块,利用每个卷积模块依次对输入到所述卷积模块的特征图执行卷积运算,并且将每个所述卷积模块的输出作为下一个卷积模块的输入,每个所述卷积模块的输入中还包含之前卷积模块的输出,将所述浅层密集连接层中最后多个卷积模块的输出作为所述第一特征图。
5.根据权利要求1所述的方法,其特征在于,所述利用所述深层特征复用层分别对多个所述第一特征图执行信息融合操作得到第二特征图,以便在所述浅层特征信息中融入深层特征信息,包括:
所述深层特征复用层中包含与所述第一特征图的数量相对应的卷积模块,利用所述深层特征复用层的卷积模块,对所述第一特征图进行卷积变换得到第二特征图,以便在包含所述浅层特征信息的第二特征图中融入所述深层特征信息,对所述第二特征图进行全局平均池化,得到所述全局平均池化后对应的第二特征图。
6.根据权利要求1所述的方法,其特征在于,所述注意力层包括SE注意力模块和特征变换模块,所述利用注意力层对所述第二特征图中的人脸位姿信息进行提取,得到包含所述人脸位姿信息的第三特征图,包括:
利用所述SE注意力模块对所述第二特征图中的特征通道进行权重计算,并根据通道权重对所述特征通道进行加权得到加权后的第二特征图;
利用所述特征变换模块对所述加权后的第二特征图进行特征提取,得到包含有效特征信息的第三特征图,所述有效特征信息包含人脸位姿信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳集智数字科技有限公司,未经深圳集智数字科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210129785.7/1.html,转载请声明来源钻瓜专利网。