[发明专利]眼神捕捉方法及装置、存储介质、终端

权利要求书

1.一种眼神捕捉方法，其特征在于，包括：

获取演员的眼部图像；

获取所述演员的眼部三维信息，根据所述眼部三维信息确定所述演员的三维眼球，所述眼部三维信息至少包括：眼球中心位置、眼球半径及虹膜尺寸；

根据所述眼部图像，采用眼睛网络模型和所述三维眼球，确定三维瞳孔中心位置，并根据所述三维瞳孔中心位置捕捉所述演员的眼神方向；

其中，所述根据所述眼部图像，采用眼睛网络模型和所述三维眼球，确定三维瞳孔中心位置，包括：

根据所述眼部图像，采用所述眼睛网络模型得到眼部二维信息，所述眼部二维信息至少包括：虹膜掩膜、二维瞳孔中心位置及睁闭眼状态，所述虹膜掩膜用于表征二维瞳孔的信息；

根据所述眼部二维信息和所述三维眼球，确定所述三维瞳孔中心位置；

所述根据所述眼部二维信息和所述三维眼球，确定所述三维瞳孔中心位置，包括：

根据所述三维眼球和预估三维瞳孔中心位置，得到所述三维眼球的预估虹膜；

将所述预估虹膜投影至所述眼部图像对应的二维平面，得到预估虹膜掩膜；计算所述预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜之间的第一差异；

根据所述第一差异计算得到总差异；

若所述总差异不大于预设第一阈值，则将所述预估三维瞳孔中心位置作为所述三维瞳孔中心位置。

2.如权利要求1所述的眼神捕捉方法，其特征在于，所述根据所述眼部图像，采用所述眼睛网络模型得到眼部二维信息，包括：

获取所述眼部图像对应的多个二维眼皮特征点；

计算将所述多个二维眼皮特征点与多个预设二维眼皮特征点对齐时的相似变换矩阵；

采用所述相似变换矩阵对所述眼部图像进行相似变换，得到变换后的图像；将所述变换后的图像输入至所述眼睛网络模型，预测变换后的图像对应的眼部二维信息；

采用所述相似变换矩阵的逆矩阵，对所述变换后的图像对应的眼部二维信息进行变换，得到所述眼部图像对应的眼部二维信息。

3.如权利要求1所述的眼神捕捉方法，其特征在于，还包括：

若所述总差异大于预设第一阈值，根据所述总差异对所述预估三维瞳孔中心位置进行调整并迭代优化，直至所述总差异不大于预设第一阈值或者迭代次数达到设定次数，将所述总差异不大于预设第一阈值或者迭代次数达到设定次数时的预估三维瞳孔中心位置作为所述三维瞳孔中心位置。

4.如权利要求1或3所述的眼神捕捉方法，其特征在于，所述根据所述第一差异计算得到总差异，包括：

将所述预估虹膜投影至所述眼部图像对应的二维平面，得到预估二维瞳孔中心位置；

计算所述预估二维瞳孔中心位置与所述眼睛网络模型预测的二维瞳孔中心位置之间的第二差异；

根据所述第一差异及所述第二差异计算得到所述总差异。

5.如权利要求4所述的眼神捕捉方法，其特征在于，所述根据所述第一差异和第二差异计算得到总差异，包括：

计算当前迭代优化的三维瞳孔中心位置与优化初始时的三维瞳孔中心位置之间的第三差异；

根据所述第一差异、所述第二差异及所述第三差异，计算得到所述总差异。

6.如权利要求1所述的眼神捕捉方法，其特征在于，所述计算预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜之间的第一差异，包括：

计算所述预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜的交集部分，以及所述预估虹膜掩膜与所述眼睛网络模型预测的虹膜掩膜的并集部分，将所述交集部分与所述并集部分的比值与理想比值的差异作为所述第一差异；

或者，根据所述眼睛网络模型预测的虹膜掩膜的生成距离变换图，计算所述预估虹膜掩膜的边缘像素在所述距离变换图中的值，根据计算得到的值得到所述第一差异。

7.如权利要求1所述的眼神捕捉方法，其特征在于，所述获取所述演员的眼部三维信息，包括：通过眼球校准获得所述眼球中心位置、眼球半径及虹膜尺寸。