[发明专利]一种基于深度投票机制的端到端瞳孔中心定位方法

权利要求书

1.一种基于深度投票机制的端到端瞳孔中心定位方法，其特征在于，该方法具体包括以下步骤：

S1：获取包含人脸的图像集，并对图像集进行标注，然后将标注后的图像集分为训练集和测试集；

S2：构建瞳孔中心定位模型，并将训练集输入模型进行训练；

S3：将测试集中的待定位图像输入训练好的瞳孔中心定位模型，得到最终的瞳孔中心定位坐标。

2.根据权利要求1所述的端到端瞳孔中心定位方法，其特征在于，步骤S1中，通过通用拍摄设备获取自然环境下的包含完整人脸的图像集，其中瞳孔区域必须保证能够由人类标注者进行识别。

3.根据权利要求1所述的端到端瞳孔中心定位方法，其特征在于，步骤S1中，标注者使用标注工具对图像集进行标注，具体包括：对每张图像I，标注两组六维向量，第i组六维向量记作其中用于描述眼部区域标注框的大小，表示眼部区域的中心坐标，(wⁱ,hⁱ)表示眼部区域宽度和高度；用于描述瞳孔中心的信息，表示瞳孔中心的坐标，cⁱ表示落在眼部区域标注框中的样本所属的类别。

4.根据权利要求1所述的端到端瞳孔中心定位方法，其特征在于，步骤S2中，构建并训练瞳孔中心定位模型，具体包括以下步骤：

S21：构建瞳孔中心定位模型：使用卷积神经网络作为特征提取的骨干网络，构建瞳孔中心定位算法头，包含描述子分类器和偏移回归器；

S22：将训练图像I输入骨干网络，提取出特征集F，将特征集F输入瞳孔中心定位算法头，通过描述子分类器和偏移回归器，得到预测的描述子得分集score以及偏移向量集offset；

S23：将步骤S22得到的描述子得分集score以及偏移向量集offset输入损失计算模块，得到损失值；

S24：根据步骤S23计算出的损失值，使用梯度下降优化算法将其回传，对瞳孔中心定位模型进行训练，迭代至收敛；

S25：将样本集输入投票模块以及瞳孔中心抑制模块，得到最终的瞳孔中心定位结果。

5.根据权利要求4所述的端到端瞳孔中心定位方法，其特征在于，步骤S23中，将描述子得分集score以及偏移向量集offset输入损失计算模块得到损失值，具体包括：将特征集F中的各个子集根据各自对应的卷积步长s按照如下公式映射回原始图像，

其中，(x,y)为特征图中的特征点坐标，(x₀,y₀)为映射回原图的样本坐标，如果样本落入到标注框B的范围内，则此样本被记为正样本，亦即用于为瞳孔中心投票的局部描述子；将描述子得分集score以及偏移向量集offset输入损失计算模块，分别进行分类损失L_reg(o,o^*)和回归损失L_cls(p,c^*)的计算，计算公式如下：

L_cls(p,c^*)＝-[α(1-p)^γlog p+(1-α)p^γlog(1-p)]

其中，p表示一个样本对应的预测得分，c^*表示样本对应的类别；γ与α为超参数，用于调整难易样本及正负样本的权重；o代表偏移向量；o^*代表偏移向量的真值，o^*的计算公式如下：

其中，和分别表示瞳孔中心距离样本(x₀,y₀)在两个维度上的距离，(x_eye,y_eye)表示瞳孔中心的真值坐标；

损失计算模块总的损失计算公式如下：

其中，L({p,c^*},{o,o^*})表示损失计算模块总的损失值；λ为超参数，用于平衡分类和回归损失；N_pos为总的描述子数量，是指示函数，当且仅当特征图上坐标为(i,j)的元素对应样本位描述子时为1，其余情况为0。

6.根据权利要求5所述的端到端瞳孔中心定位方法，其特征在于，步骤S25中，将样本集输入投票模块以及瞳孔中心抑制模块，得到最终的瞳孔中心定位结果，具体包括以下步骤：

S251：将待检测的图像I输入步骤S24训练好的模型，经过特征提取模块和瞳孔中心定位算法头，得到特征集F以及描述子得分集score和偏移向量集offset，将特征集F按照各自的步长映射回原图，得到样本集sampleSet；

S252：将步骤S251得到的样本集sampleSet，根据描述子得分进行过滤，得分大于阈值T的样本被选为描述子，得到描述子集descriptorSet；初始化与原图尺寸相同的累加矩阵accMatrix，对每个描述子，将其坐标与对应预测出的偏移向量进行向量加法，得到一组预测的瞳孔中心坐标(e_x,e_y)，在累加矩阵对应位置的bin中加上描述子的得分score_dp，计算公式如下：

其中，dp表示每一个特定的描述子，dp_x和dp_y表示描述子的坐标，和表示该描述子预测的偏移量；

S253：将步骤S252得到的累加矩阵accMatrix根据其各个bin中的数值大小进行降序排序，排序结果记作sortedBin，取sortedBin中第一个bin的坐标记作EC₀，对剩下的全部bin，计算其与EC₀的欧氏距离，将超过抑制阈值T_nms的bin从sortedBin剔除，组成抑制集nmsSet，对nmsSet中的每个bin，将其坐标加权至EC₀上，得到修正后的EC₀，计算公式如下：

EC₀+＝accMatrix_position·position

sortedBin＝sortedBin\bin

其中，position为对应bin在原始累加矩阵中的坐标，accMatrix_position表示累加矩阵accMatrix上对应position处的累加值；

在sortedBin剩下的bin中，取第一个bin的坐标记作EC₁，再进行上述操作，得到修正后的EC₁，EC₀与EC₁作为最终定位的瞳孔中心返回。