[发明专利]一种基于立体视觉的三维人脸重建方法

摘要

一种基于双目立体视觉的三维人脸重建方法，其实现步骤为：(1)使用两台摄像机从两个不同角度同时各拍摄人脸的一幅图像；(2)分别对两台摄像机的内，外参数矩阵进行标定；(3)根据标定数据进行对极线校正和图像变换；(4)利用Harris角点检测算子提取人脸特征点，并利用局部模板窗口方法以及极线约束进行初始匹配；(5)从初始匹配集合出发，利用种子点增长算法得到稀疏匹配集合(6)利用稀疏匹配集合作为引导点，执行动态规划算法完成稠密匹配(7)根据标定数据和匹配关系计算人脸上实际物点的三维坐标，从而重建出人脸的三维点云。

主权项

1、一种基于立体视觉的三维人脸重建方法，其特征在于，该重建方法依次含有下列步骤：步骤1：图像获取使用两台摄像机从两个不同角度同时各拍摄一幅人脸图像，其中左镜头拍摄的为左图像，右镜头拍摄的为右图像；步骤2：摄像机标定分别对两台摄像机进行标定，获得各自的内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]；步骤3：对极几何校正及图像变换，包括下面四个子步骤：步骤3.1：计算左右摄像机的光心坐标根据步骤2得到的左右摄像机的内外参数矩阵，构造左右摄像机的原始投影矩阵：P_oL＝A_L[R_L t_L]，P_oR＝A_R[R_R t_R]，则左右摄像机的光心坐标可以计算为：cL=-PoL-1(:,1:3)*PoL(:,4),]]>cR=-PoR-1(:,1:3)*(:,4);]]>步骤3.2：构造新的旋转矩阵R′和内参矩阵A′令v₁＝c_L-c_R，v2=v1⊗RLT(3,:),]]>v3=v1⊗v2,]]>构造新的旋转矩阵和内参矩阵分别为：R′=v1T/norm(v1)v2T/norm(v2)v3T/norm(v3),]]>A′＝(A_L+A_R)/2，令A′(1，2)＝0，其中表示向量叉积，norm(v)表示求向量范数，上标T表示矩阵转置，P^-1表示对矩阵P求逆矩阵；步骤3.3：计算新的投影矩阵及与原始投影矩阵之间的变换矩阵构造左右摄像机的新的投影矩阵P_nL＝A′[R′-R′c_L]，P_nR＝A′[R′-R′c_R]，计算与原始投影矩阵之间的变换关系：TL=PnL(1:3,1:3)*PoL-1(1:3,1:3),]]>TR=PnR(1:3,1:3)*PoR-1(1:3,1:3);]]>步骤3.4：图像变换根据步骤3.3得到的新的投影矩阵与原始投影矩阵之间的变换矩阵对原始拍摄的左右图像分别逐个像素点进行转换：p′_L＝T_Lp_L，p′_R＝T_Rp_R，其中p_L，p_R分别是左右图像中变换前像素点的齐次坐标，p′_L，p′_R分别是变换后左右图像中像素点的齐次坐标；步骤4：稀疏匹配，包括下面三个子步骤：步骤4.1：特征点检测及初始匹配对于步骤3经过对极线校正变换后得到的图像运用经典的Harris角点检测算子分别提取左右人脸图像中的特征点，并利用局部模板窗口算法以及水平极线约束对提取得到的左右特征点集合进行初始匹配，将得到的匹配点对集合记为S；步骤4.2：种子点增长，包括下面三个子步骤：步骤4.2.1将步骤4.1得到的初始匹配对集合S看作一个种子点集合，其中的匹配点对具有形式(x_l，x_r，y)，x_l，x_r分别代表匹配像素点对在左右图像中的横坐标，y是两像素点共同的纵坐标，将S中的匹配对按照相似测度降序排列，初始化匹配集合M为空集，即M＝φ，设置相似测度阈值μ为一个常数；步骤4.2.2从S中取出最大相似测度种子点s＝(x_l，x_r，y)，在其如下形式的四邻域A₁中：A₁＝{(x_l，x_r，y+1)，(x_l±1，x_r，y+1)，(x_l，x_r±1，y+1)}A₂＝{(x_l，x_r，y-1)，(x_l±1，x_r，y-1)，(x_l，x_r±1，y-1)}A₃＝{(x_l-1，x_r+1，y)，(x_l-2，x_r+1，y)，(x_l-1，x_r+2，y)，(x_l-2，x_r+2，y)}A₄＝{(x_l+1，x_r-1，y)，(x_l+2，x_r-1，y)，(x_l+1，x_r-2，y)，(x_l+2，x_r-2，y)}分别选出具有最大相似测度的匹配对：qi=(xl,xr,y)=argp∈Ai(s)maxsimi(p),]]>i＝1，2，3，4，令c＝simi(q_i)，simi()表示相似测度函数，如果满足条件：c≥μ，并且集合M中不存在匹配对s＝(x′_l，x′_r，y)，使得x_l＝x′_l或者x_r＝x′_r，那么将q_i添加到集合M中，再将q_i按相似测度升序顺序插入到集合S，处理完s的四邻域后将s从集合S中去掉；步骤4.2.3重复步骤4.2.2直到集合S变为空，最终得到种子点增长匹配集合M；步骤4.3：优化匹配集合M利用双向一致性约束准则，根据步骤4.2再以右图像为基准图像，左图像为配准图像进行一次种子点增长匹配，可以得到另一个匹配对集合M′，对于任意的(x_l，x_r，y)∈M，如果在M′中存在元素(x′_l，x′_r，y′)，满足条件x_r＝x′_l并且y＝y′，那么判断|x_l-x′_r|，设定一个小的阈值dist，如果|x_l-x′_r|≤dist，则认为匹配对(x_l，x_r，y)是可信的，保留在集合M中，否则，认为是不可信的，将它从集合M去掉，最终保留下来的元素组成优化后的稀疏匹配集合M；步骤5：稠密匹配，包括下面五个子步骤：步骤5.1：构造引导点序列从左下角到右上角逐行扫描左图像，对于图像中的每条扫描线l_i(i＝1…n)，n代表图像的行数，定义一个集合K，首先判断l₁上的每个像素点p，其像素坐标为(x_l，y_i)，检索集合M，如果(x_l，y_i)已经匹配过，则将坐标(x_l，y_i)对应的集合M中的元素(x_l，x_r，y_i)添加到集合K中，这样一直扫描到当前行的末端，得到一个匹配点对的序列K＝{k₁，k₂，…，k_m}；步骤5.2：扫描线分段对于步骤5.1得到的序列K，如果m≥2，每次顺序取出其中相邻的两个元素k_j，k_j+1(j＝1，…，m-1)，记为kj=(xlj,xrj,yi),]]>kj+1=(xlj+1,xrj+1,yi),]]>定义序列L_ij，将当前扫描行中所有像素点(x_l，y_i)的横坐标满足xlj<xl<xlj+1]]>的像素点添加到序列L_ij中，重复这个过程直到顺序处理完K中所有具有相邻关系的元素，最后还需要构造分别以当前行最左端像素点和(x_l¹，y_i)为端点和以当前行最右端像素点和(x_l^m，y_i)为端点的两段序列L_i0和L_im；如果m＜2，则整条扫描线作为一个序列L_i0；步骤5.3：确定动态规划候选搜索路径对步骤5.2得到的每个像素点序列L_ij(j＝0，…，m)，对于序列中的每个像素点p＝(x_l，y_i)，按照如下三个子步骤确定其在动态规划过程中的候选搜索路径：步骤5.3.1以当前像素点p为中心，检查其周围8邻域方向的像素点，如果某个像素点的坐标q=(xlq,yi)]]>对应于集合M中的已匹配对(x_l^q，x_r^q，y_i)，则计算其视差dq=xlq-xrq,]]>并令d_min＝d_max＝d_q；如果没有找到，则沿着八邻域的方向各自向外侧延伸一个像素点，继续前面同样的检查执行过程，如果向外延伸的次数超过给定的阈值N却仍没有在M中检查到有对应的匹配对，则终止向外延伸的过程，转到步骤5.3.2；步骤5.3.2取出p所在的序列L_ij的左右两个端点q₁＝(x_l1，y_i)，q₂＝(x_l2，y_i)，如果它们在集合M中有对应的匹配对，分别为(x_l1，x_r1，y_i)，(x_l2，x_r2，y_i)，记d₁＝x_l1-x_r1，d₂＝x_l2-x_r2，令d_min＝min(d₁，d₂)，d_max＝max(d₁，d₂)；步骤5.3.3当前像素点p＝(x_l，y_i)在动态规划过程中的候选匹配搜索路径可以确定为：P＝{(x_l，x_r，y_i)|x_l-(d_min-Δ)≤x_r≤x_l-(d_max+Δ)}，其中Δ是一个小的常数；步骤5.4按照步骤5.3得到的像素点的动态规划候选路径对步骤5.2中得到的所有像素点序列L_ij(j＝0，…，m)分别运用动态规划算法寻找每个像素点的最优匹配；步骤5.5重复步骤5.1到步骤5.4直到处理完整幅图像的所有扫描线，得到整幅图像所有像素点在右图中的匹配点；步骤6：三维信息还原根据步骤2得到的摄像机内参数矩阵A_L、A_R和外参数矩阵[R_L t_L]、[R_R t_R]，以及步骤4和步骤5得到的匹配点对关系，计算得到整个人脸的三维点云坐标。