[发明专利]人脸姿态检测方法、系统、电子终端及存储介质

说明书

本发明提供人脸姿态检测方法、系统、电子终端及存储介质，其与现有的人脸捕捉技术相比，在空间域上实现多帧人脸图像捕捉，无论人脸姿态如何均能够捕捉到一张最正脸的图像。此外，本发明运用的几何求解方法相比于传统的非线性回归方法、探测器阵列或者跟踪等方法计算速度快且计算量小，且本发明求解人脸旋转角度的同时还能求解人脸距离摄像头镜头的深度信息，从而利于将本发明的技术方案从单摄像头向多摄像头扩展，且发明的技术方案将图像中心移至相机光轴所在直线上，人脸与相机的相对位移都沿着摄像机光轴，这样就避免了把每个相机都固定到相应位置后再进行复杂的标定流程，大大提升了效率。

技术领域

本发明涉及机器视觉领域，特别是涉及人脸姿态检测方法、系统、电子终端及存储介质。

背景技术

利用多摄像机，从空间域获取人的最正脸信息，此时人的脸部法向量与摄像机的光轴角度最小，人脸的动作沿着空间的X、Y、Z三轴(定义摄像机的光轴为Z轴)的旋转角度为0度。其中，人的最正脸是指相对于某一时刻，头部的动作刚好运动至摄像机捕捉到最适合做人脸识别的人脸信息。此时人正面对相机。

多摄像头阵列采集人脸信息，只要摄像头数目足够多且分布合理的话就可以在空间中无死角地锁定并捕捉到人脸信息。这就解决了单摄像头捕捉范围有限，视角太小在某些场景引发的问题。

但是，基于头部动作姿态预估的多相机人脸抓拍系统由多个部分组成，其主要解决的技术问题在于：首先是人脸姿态的估计部分，其次是多相机结果融合与人脸去重，即多相机进行人脸姿态的估计后将所有信息汇总进行判断然后再进行抓拍，这其中还涉及到多相机中捕捉到多张人脸后的人脸去重问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供人脸姿态检测方法、系统、电子终端及存储介质，用于解决现有技术人脸姿态的估计不够准确高效等技术问题。

为实现上述目的及其他相关目的，本发明提供一种人脸姿态检测方法，其包括获取来自多个图像摄取装置的包含有不同人脸姿态的二维图像；计算基于各二维图像而生成的人脸姿态信息，所述人脸姿态信息包括人脸法向量与该图像摄取装置的光轴之间的接近程度；选取与该图像摄取装置的光轴最接近的人脸法向量所对应的二维图像作为人脸正对图像摄取装置的图像。

于本发明的一实施例中，所述方法还包括：若判断所述二维图像中的人脸数量超过一个，则将多张人脸进行相似度匹配以判断所述多张人脸是否隶属于同一人；若隶属于同一人则去除重复人脸；若不隶属于同一人则针对每张人脸分别求取其正对图像摄取装置的图像。

于本发明的一实施例中，所述方法包括：利用多个人脸关键点确定所述二维图像中的人脸区域，并将所述人脸区域移动至相互对齐的位置；将各所述人脸区域的中心点移至所述图像摄取装置光轴所在直线上，并计算各人脸关键点二维图像的坐标信息；基于所述人脸关键点二维图像的坐标信息求得所述人脸姿态信息。

于本发明的一实施例中，所述方法包括：令人脸关键点在世界坐标系中的坐标为(X_i，Y_i，Z_i)，且该人脸关键点在各图像摄取装置的图像坐标系中的坐标为(u_i1，v_i1)，(u_i2，v_i2)，...，(u_ij，v_ij)，...其中，i表示第i个人脸关键点，j表示第j个图像摄取装置；则，A为图像摄取装置的内参矩阵，[R|t]为图像摄取装置的外参矩阵，M为人脸旋转矩阵；其中，

于本发明的一实施例中，以正对图像摄取装置的平面为参照面，在所述参照面分别建立X轴和Y轴并以图像摄取装置的光轴所在直线为Z轴，其中：所述人脸姿态信息包括参量θ，β，ρ，Zm，其中，θ，β，ρ与所述人脸旋转矩阵相关联，分别用于表示人脸沿Z轴、Y轴及X轴旋转的角度；Zm与外参矩阵相关联，用于表示人脸的深度信息。