[发明专利]眼球动作分析方法、装置及存储介质

摘要

本发明公开了一种眼球动作分析方法、装置及存储介质，该方法包括：获取摄像装置拍摄的实时图像，从该实时图像中提取一张实时脸部图像；将所述实时脸部图像输入预先训练好的眼部平均模型，识别出该实时脸部图像中代表眼部位置的n1个眼眶特征点、n2个眼球特征点；根据所述(n1+n2)个特征点确定眼部区域，利用所述人眼分类模型判断该眼部区域是否为人眼区域；若是，根据该实时脸部图像中n1个眼眶特征点、n2个眼球特征点的x、y坐标计算得到该实时脸部图像中眼球的运动方向及运动距离。本发明根据眼部特征点的坐标计算实时脸部图像中眼球的运动信息，实现对眼部区域的分析及对眼球动作的实时捕捉。

主权项

1.一种电子装置，其特征在于，所述装置包括：存储器、处理器及摄像装置，所述存储器中包括眼球动作分析程序，所述眼球动作分析程序被所述处理器执行时实现如下步骤：实时脸部图像获取步骤：获取摄像装置拍摄的实时图像，利用人脸识别算法从该实时图像中提取一张实时脸部图像；特征点识别步骤：将所述实时脸部图像输入预先训练好的眼部平均模型，利用该眼部平均模型识别出该实时脸部图像中代表眼部位置的n1个眼眶特征点、n2个眼球特征点；所述眼部平均模型的训练步骤包括：建立一个有n张人脸图像的第一样本库，在第一样本库中的每张人脸图像中标记n1个眼眶特征点、n2个眼球特征点，每张人脸图像中的n1+n2个特征点组成一个形状特征向量S，得到眼部的n个形状特征向量S；利用所述n个形状特征向量S对人脸特征识别模型进行训练得到关于人脸的眼部平均模型；人眼区域识别步骤：根据所述n1个眼眶特征点、n2个眼球特征点确定眼部区域，将该眼部区域输入预先训练好的人眼分类模型，判断该眼部区域是否为人眼区域；及眼球运动判断步骤：若该眼部区域为人眼区域，根据该实时脸部图像中n1个眼眶特征点、n2个眼球特征点的x、y坐标计算得到该实时脸部图像中眼球的运动方向及运动距离；所述人眼分类模型的训练步骤包括：收集m张人眼正样本图像和m张人眼负样本图像；提取每张人眼正样本图像、人眼负样本图像的局部特征；及利用人眼正样本图像、人眼睛负样本图像及其局部特征对支持向量机分类器进行训练，得到人眼分类模型；所述人脸特征识别模型为ERT算法，用公式表示如下：其中t表示级联序号，τ_t(·，·)表示当前级的回归器，为当前模型的形状估计，每个回归器τ_t(·，·)根据输入图像I和来预测一个增量在模型训练的过程中，取所有样本图像的部分特征点训练出第一棵回归树，将第一棵回归树的预测值与所述部分特征点的真实值的残差用来训练第二棵树...依次类推，直到训练出第N棵树的预测值与所述部分特征点的真实值接近于0，得到ERT算法的所有回归树，根据这些回归树得到人脸的眼部平均模型。