[发明专利]头部姿势的估计方法、装置、设备及存储介质在审
申请号: | 201910979696.X | 申请日: | 2019-10-15 |
公开(公告)号: | CN110717467A | 公开(公告)日: | 2020-01-21 |
发明(设计)人: | 淮静 | 申请(专利权)人: | 北京字节跳动网络技术有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00 |
代理公司: | 11659 北京远智汇知识产权代理有限公司 | 代理人: | 范坤坤 |
地址: | 100041 北京市石景山区*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 头部姿势 视频帧 坐标信息 关键点 人脸 视频 存储介质 信息获得 滑性 算法 | ||
1.一种头部姿势的估计方法,其特征在于,包括:
获取当前视频帧中设定人脸关键点的2D坐标信息和3D坐标信息;
获取上一视频帧的头部姿势信息;
对所述2D坐标信息、3D坐标信息和上一视频帧的头部姿势信息按照设定算法进行计算,获得当前视频的头部姿势信息。
2.根据权利要求1所述的方法,其特征在于,获取当前视频帧中设定人脸关键点的2D坐标信息,包括:
对当前视频帧进行人脸检测;
通过关键点定位技术获取人脸关键点在当前视频帧坐标系下的2D坐标信息。
3.根据权利要求1所述的方法,其特征在于,获取当前视频帧中设定人脸关键点的3D坐标信息,包括:
获取设定人脸关键点在世界坐标系中的3D坐标信息;
获取相机坐标系和世界坐标系的旋转矩阵;
根据所述旋转矩阵及设定人脸关键点在世界坐标系中的3D坐标信息计算设定关键点在相机坐标系中的3D坐标。
4.根据权利要求1所述的方法,其特征在于,对所述2D坐标信息、3D坐标信息和上一视频帧的头部姿势信息按照设定算法进行计算,获得当前视频的头部姿势信息,包括:
将上一视频帧的头部姿势信息作为参考头部姿态信息,对所述2D坐标信息和所述3D坐标信息按照设定算法进行迭代计算,获得当前视频的初始头部姿势信息;
对所述初始头部姿势信息进行奇异矫正,获得当前视频帧的头部姿势信息。
5.根据权利要求1所述的方法,其特征在于,对所述2D坐标信息、3D坐标信息和上一视频帧的头部姿势信息按照设定算法进行计算,获得当前视频的头部姿势信息,包括:
对所述2D坐标信息和所述3D坐标信息按照设定算法进行迭代计算,获得当前视频的初始头部姿势信息;
根据上一视频帧的头部姿势信息对所述初始头部姿势信息进行奇异矫正,获得当前视频帧的头部姿势信息。
6.根据权利要求1-5任一所述的方法,其特征在于,所述设定人脸关键点包括:眉毛关键点、鼻子关键点、眼睛关键点和嘴巴关键点。
7.根据权利要求1-5任一所述的方法,其特征在于,所述头部姿势信息包括:横滚角、俯仰角和偏航角。
8.一种头部姿势的估计装置,其特征在于,包括:
坐标信息获取模块,用于获取当前视频帧中设定人脸关键点的2D坐标信息和3D坐标信息;
上一头部姿势信息获取模块,用于获取上一视频帧的头部姿势信息;
当前头部姿势信息获取模块,用于对所述2D坐标信息、3D坐标信息和上一视频帧的头部姿势信息按照设定算法进行计算,获得当前视频的头部姿势信息。
9.一种电子设备,其特征在于,所述电子设备包括:
一个或多个处理装置;
存储装置,用于存储一个或多个程序;
当所述一个或多个程序被所述一个或多个处理装置执行,使得所述一个或多个处理装置实现如权利要求1-7中任一所述的头部姿势的估计方法。
10.一种计算机可读介质,其上存储有计算机程序,其特征在于,该程序被处理装置执行时实现如权利要求1-7中任一所述的头部姿势的估计方法。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京字节跳动网络技术有限公司,未经北京字节跳动网络技术有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910979696.X/1.html,转载请声明来源钻瓜专利网。