[发明专利]一种基于三目相机的三维人脸采集方法及装置

说明书

本发明公开了一种基于三目相机的三维人脸采集方法及装置，将人脸关键点投影到左右IR散斑纹理人脸图像中，计算左右IR散斑纹理人脸图像中对应人脸关键点的坐标，通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差，最后遍历整个RGB人脸图像，即得到精确的人脸深度图，利用内参矩阵反投影得到最终的人脸点云。本发明利用法向信息使双目立体匹配算法进行高精度匹配，消除人脸曲面仿射变换影响，提升深度精度；通过降分辨率的人脸深度图，约束原始分辨率的立体匹配视差在极线方向上的搜索范围，大幅度降低计算复杂度，提升了算法计算效率。

技术领域

本发明属于计算机视觉技术领域，特别涉及一种基于三目相机的三维人脸采集方法及装置。

背景技术

近年来，随着人工智能技术的迅猛发展以及计算机计算能力的不断提升，人脸识别技术作为一种典型的人工智能技术正越来越多地被应用于如电子支付、身份识别、刑事侦查、安防控制等领域，并在这些领域中展现出极大的优越性。然而，不可否认的是当前人脸识别算法大多是基于平面图像的二维人脸识别，二维人脸图像只是三维人脸模型特定角度下投影到像平面的二维投影，因此人脸面部几何和纹理信息特征不可避免的会有损失，这也导致人脸识别准确度受到限制。

随着三维重建技术的快速发展，人脸识别算法正在由图像作为输入的二维人脸识别技术向将三维人脸模型作为输入的三维人脸识别技术过渡。与二维人脸图像相比，三维人脸模型具有更多特定人的脸部几何和纹理信息，这便大大提高了人脸的特征信息量，通过人脸识别算法所能提取的人脸特征也能更好地区分被不同对象之间的区别。因此，三维人脸模型更适合于人脸识别技术的输入。

目前三维人脸识别算法常用的是深度学习类算法，该类型算法一般需要大数据量的高精度人脸三维模型作为训练数据进行监督学习，因此一款简单高效的三维人脸模型采集方法和采集装置已经成为了一种非常重要且紧迫的需求。研究具有全自动、操作简单、被采集人员安全无感、对采集环境光照无约束、无需采集人长时间静止配合的3D人脸数据采集装备，具有重要的意义。

当前，在人脸三维重建领域中，基于双目立体匹配的人脸深度提取算法是一个重要且被广泛使用的算法。然而，人脸表面是曲面，且法向变化范围大，所以在近距离拍摄人脸图像时，左右相机拍摄的人脸图像会有较明显的仿射变换。特别在散斑器投射的散斑颗粒较大，且密度较低，人脸与相机光轴夹角较大的情况下，人脸表面上的同一颗散斑点在左右相机拍摄的人脸图像中，散斑颗粒形状存在明显的仿射变换差异，这些差异都会导致双目立体匹配算法得到的深度图存在较大精度误差，进而影响人脸点云和人脸三维重建的精度。同时，由于立体匹配算法需要在极线方向上做逐像素的匹配搜索，当人脸较近时，视差搜索范围较大，双目立体匹配算法具有较高的计算复杂度，进而导致计算耗时较长。

发明内容

本申请的目的是提供一种基于三目相机的三维人脸采集方法及装置，用以避免抗仿射变换，并提高计算效率和计算精度。

为了实现上述目的，本申请技术方案如下：

一种基于三目相机的三维人脸采集方法，所述三目相机包括中间的RGB相机和左右的IR相机、以及两组IR散斑投射器，所述基于三目相机的三维人脸采集方法，包括：

获取三目相机采集的RGB人脸图像和左右IR散斑纹理人脸图像；

利用RGB人脸图像进行人脸框和人脸关键点检测，得到精确的人脸关键点；

将人脸关键点投影到左右IR散斑纹理人脸图像中，计算左右IR散斑纹理人脸图像中对应人脸关键点的坐标；

通过迭代人脸关键点在左右IR散斑纹理人脸图像上的投影位置，修正误差；

计算基于左右IR散斑纹理人脸图像中的人脸关键点坐标信息最小外接矩形框的并集的行数和列数，作为左右人脸框的行数和列数；

计算RGB人脸图像原始分辨率的法向图；