[发明专利]一种由粗到精的人脸姿态量化估计方法

权利要求书

1.一种由粗到精的人脸姿态量化估计方法，其特征在于包括如下步骤：

步骤1：人脸姿态粗略估计阶段，利用卷积神经网络对人脸姿态进行分类，将人脸划分到具体的姿态类别，得到类别标签c_I，该标签对应的权重为w_I，其中，c_I∈C，w_I∈W；

步骤2：人脸姿态精细估计阶段，利用三维人脸关键点定位模型M_l对二维人脸图像进行关键点定位，并利用得到的三维人脸关键点在三维坐标系x-y、x-z以及y-z三个平面上的几何投影来进行人脸姿态的精细估计，得到人脸在roll、yaw和pitch三个方向上的偏移角度，具体为：

步骤2.1：人脸图像I经三维人脸关键点定位模型M_l得到三维人脸关键点坐标集合L＝{l_i|i＝1,2,...,N}，其中，N为三维人脸关键点坐标的数量，l_i为第i个三维人脸关键点坐标且l_i＝(x_i,y_i,z_i)；

步骤2.2：令两眉毛中点三维坐标P₁＝(x₁,y₁,z₁)，鼻子上方第一个关键点三维坐标P₂＝(x₂,y₂,z₂)，左眼中点三维坐标P₃＝(x₃,y₃,z₃)，右眼中点三维坐标P₄＝(x₄,y₄,z₄)，其中，两眉毛中点三维坐标P₁为两眉毛n₁个三维关键点坐标的平均值，左眼中点三维坐标P₃为左眼n₃个三维关键点坐标的平均值，右眼中点三维坐标P₄为右眼n₄个三维关键点坐标的平均值；

步骤2.3：利用两眼中点P₃与P₄的连线L₃₄在x-y平面上的投影来估计人脸在roll方向上的偏移，其中，线段的两个端点分别为以及令人脸在roll方向上的偏移角度为θ_roll，按照如下方法计算θ_roll：当x₃＝x₄时，人脸在roll方向上为90°，即θ_roll＝90°；否则，当x₃≠x₄时，根据公式(1)计算得到θ_roll，其中，当人脸在roll方向上无偏移时，与x轴平行，即y₃＝y₄，此时θ_roll＝0°，当人脸在roll方向上发生偏移时，与x轴产生夹角，当y₃＞y₄，即θ_roll＞0，此时人脸在roll方向上向左侧偏移，当y₃＜y₄，即θ_roll＜0，此时人脸在roll方向上向右侧偏移；

步骤2.4：利用两眼中点P₃与P₄的连线L₃₄在x-z平面上的投影来估计人脸在yaw方向上的偏移，其中，线段的两个端点分别以及令人脸在yaw方向上的偏移角度为θ_yaw，按照如下方法计算θ_yaw：当x₃＝x₄时，人脸在yaw方向上为90°，即θ_yaw＝90°；否则，当x₃≠x₄时，根据公式(2)计算得到θ_yaw，其中，当人脸在yaw方向上无偏移时，与x轴平行，即z₃＝z₄，此时θ_yaw＝0°，当人脸在yaw方向上发生偏移时，与x轴产生夹角，当z₃＜z₄，即θ_yaw＞0，此时人脸在yaw方向上向左侧偏移，当z₃＞z₄，即θ_yaw＜0，此时人脸在yaw方向上向右侧偏移；

步骤2.5：利用两眉毛的中点P₁和鼻子上方的第一个关键点P₂的连线L₁₂在y-z平面上的投影来估计人脸在pitch方向上的偏移，其中，线段的两个端点分别以及令人脸在pitch方向上的偏移角度为θ_pitch，按照如下方法计算θ_pitch：当y₁＝y₂时，人脸在pitch方向上为90°，即θ_pitch＝90°；否则，当y₁≠y₂时，根据公式(3)计算得到θ_pitch，其中，当人脸在pitch方向上无偏移时，与y轴平行，即z₁＝z₂，此时θ_pitch＝0°，当人脸在pitch方向上发生偏移时，与y轴产生夹角，当z₁＞z₂，即θ_pitch＞0，此时人脸在pitch方向上向上侧偏移，当z₁＜z₂，即θ_pitch＜0，此时人脸在pitch方向上向下侧偏移；

步骤2.6：当x₃＝x₄时，人脸在yaw方向上为90°或在roll方向上为90°，此时为极端姿态下的人脸姿态估计，利用点P₁和P₂连线在x-y平面上的投影与x轴的夹角β来进行判断，令平行于x轴的向量令点P₁和P₂连线在x-y平面上的投影向量不考虑人脸姿态在两个方向上同为90°的情况，因此，当yaw方向或roll方向上为90°时，不存在的情况，则β的计算公式如公式(4)所示；

步骤2.6.1：当0≤β≤15°时，人脸在roll方向上为90°，此时，利用两眼中点P₃与P₄连线L₃₄在y-z平面上的投影来估计人脸在yaw方向上的偏移，线段的两个端点分别为以及此时θ_yaw的计算如公式(5)所示，利用两眉毛的中点P₁和鼻子上方的第一个关键点P₂的连线L₁₂在x-z平面上的投影来估计人脸在pitch方向上的偏移，线段的两个端点分别以及此时θ_pitch的计算如公式(6)所示；

步骤2.6.2：当β＞15°时，人脸在yaw方向上为90°，此时，利用来估计人脸在roll方向上的偏移，θ_roll的计算如公式(7)所示，利用来估计人脸在pitch方向上的偏移，θ_pitch的计算如公式(8)所示；

步骤2.7：令人脸在roll、yaw、pitch三个方向上的得分分别为S_roll、S_yaw、S_pitch，其中，S_roll＝cosθ_roll，S_yaw＝cosθ_yaw，S_pitch＝cosθ_pitch，人脸图像I的人脸姿态总得分为S_pose如公式(9)所示；

S_pose＝(S_roll+S_yaw+S_pitch)×w_I (9)。