[发明专利]一种基于面部特征点的眨眼动作识别的系统和方法

权利要求书

1.一种用于从连续图像中自动识别眨眼动作存在的系统，包括：

存储有指令组的至少一个存储介质；以及

与所述至少一个存储介质通信的至少一个处理器，其中，当执行所述指令组时，所述至少一个处理器用于使所述系统：

获取包括面部对象的至少两个连续候选图像帧，所述至少两个候选图像帧中的每一个图像帧包括一个或以上与眼睛的上眼睑相关的第一特征点、一个或以上与所述眼睛的下眼睑相关的第二特征点、与所述眼睛的左端相关的第三特征点、以及与所述眼睛的右端相关的第四特征点；

对于所述至少两个连续候选图像帧中的每一个图像帧，基于一个或以上第一特征点、一个或以上第二特征点、所述第三特征点、以及所述第四特征点，确定多边形的面积；

确定所述至少两个连续候选图像帧中的每一个图像帧中的所述第三特征点与所述第四特征点之间的距离；

确定动作参数，所述动作参数是所述多边形的面积与所述第三特征点和所述第四特征点之间的距离之间的比率；

从所述至少两个连续候选图像帧中识别至少两个连续目标图像帧，所述至少两个连续目标图像帧包括开始图像帧和结束图像帧；

识别与对应于所述至少两个连续目标图像帧的至少两个动作参数相关的最大动作参数；

从对应于所述至少两个连续目标图像帧的所述至少两个动作参数中识别最小动作参数；

基于所述最大动作参数和所述最小动作参数，确定不对称参数；

从所述开始图像帧到对应于所述最小动作参数的目标图像帧，确定目标图像帧的第一数量；

从对应于所述最小动作参数的所述目标图像帧到所述结束图像帧，确定图像帧的第二数量；以及

响应于所述不对称参数大于不对称阈值、所述第一数量大于第一数量阈值、以及所述第二数量大于第二数量阈值，识别所述眨眼动作存在。

2.根据权利要求1所述的系统，其特征在于，为确定所述多边形的所述面积，所述至少一个处理器用于使所述系统进一步：

至少部分地基于所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点、或所述第四特征点，确定参考点；

基于所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点、所述第四特征点和所述参考点，确定至少两个三角形面积，其中，所述至少两个三角形面积中的每一个面积基于所述参考点与所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点以及所述第四特征点中的两个相邻点确定；以及

基于所述至少两个三角形面积，确定所述多边形的所述面积。

3.根据权利要求2所述的系统，其特征在于，所述参考点是：

(a)所述一个或以上第一特征点、所述一个或以上第二特征点、所述第三特征点以及所述第四特征点中的一个，或

(b)所述多边形的垂心或所述多边形的中心点。

4.根据权利要求1所述的系统，其特征在于，为识别所述至少两个连续目标图像帧的所述开始图像帧，所述至少一个处理器用于使所述系统：

对于候选图像帧，沿着所述至少两个连续候选图像帧的序列，在所述候选图像帧之前选择至少两个先前图像帧，以及在所述候选图像帧之后选择至少两个后续图像帧；

基于对应于所述至少两个先前图像帧的至少两个第一动作参数，确定第一平均动作参数；

基于对应于所述至少两个后续图像帧的至少两个第二动作参数，确定第二平均动作参数；以及

响应于所述第二平均动作参数小于所述第一平均动作参数，以及所述至少两个第二动作参数中的每一个参数小于对应于所述候选图像帧的动作参数，识别所述候选图像帧为所述开始图像帧。