[发明专利]用于选择脸部处理中使用的帧的方法

说明书

一种用在个人设备中的、用于选择脸部处理中使用的帧(150_i)的方法，包括：a)用摄像机(10)捕获(102)特征为个人的脸部的视频数据；b)用处理单元(11)确定(106)用于所述视频数据中至少一些帧(150_i)的至少一个图像质量指标(q_ij)；c)将所述质量指标(q_ij)用于选择(110)所述帧(Se1₁，Sel₂)的子集；d)检测(108)与所述视频数据中身体部分的移动相对应的、和/或与响应窗口(rw)相对应的帧序列(f_period)，在所述响应窗口(rw)期间，应该给出对质询的响应；e)在所述序列之前或之后的预定义间隔(Int₁，Int₂)内，向所述子集添加(110)至少一个第二帧(Sel₃，Sel₄)；f)将帧(Sel₁，Sel₂，Sel₃，Sel₄)的所述子集存储(114)在存储器(12)中。

技术领域

本发明涉及脸部处理领域。具体地，本发明涉及脸部处理中帧的选择。

背景技术

脸部处理包含脸部图像的处理。脸部处理系统为基于计算机的、能够处理数字图像或视频中脸部的系统。脸部处理方法可包括例如情绪确定；脸部分类；脸部变形；姿势检测；凝视检测；复杂图像中的脸部检测等。

作为脸部处理的示例，脸部识别包括使用与数据库中参考图像的比较来识别或验证测试图像或视频中的人。脸部识别一般用于访问控制系统。

用于图像脸部处理的图像通常是使用视频摄像机捕获的，诸如例如智能手机、平板电脑、膝上机、智能手表、智能眼镜、智能电视中的摄像头，数字个人摄像机，安全摄像机等。摄像机递送包括多个帧的视频流。检测并处理帧中的脸部。

此处理可本地执行，即在捕获视频的设备中执行，或远程执行，例如在个人计算机中或在具有高处理功率的、和/或访问参考图像的数据库的远程服务器中执行。本地处理通常较快、且不贵，因为视频流无需通过网络传送给远程设备。然而，就脸部识别而言，本地设备时常缺少所需的处理功率或应该与捕获的脸部进行比较的参考图像。

因此，许多脸部处理应用需要远程传送视频流，以进一步处理。即使视频数据被压缩，此传送也是既贵且慢的处理。

根据一个方面，认识到不是所有脸部处理的应用都需要远程传送完整的视频流。实际上，视频中的连续帧时常包括类似且冗余的内容，诸如来自相同视点的同一脸部的连续图像。

即使在用户设备中本地执行脸部处理应用，也无需对视频流的每个帧重复它。实际上，诸如脸部识别或脸部分类之类的许多应用仅需要一个或有限数量的静止图像，即帧。限制将要处理的帧的数量使处理功率可用于其它应用，并减少用户设备的功耗。

因此，根据一个方面，本发明的目标是提供一种用于从视频流选择一个或有限数量的帧的方法及装置、以及将选择的帧用于脸部处理。

用于从视频流提取关键帧的算法本身是已知的。作为示例，它们时常用来从视频选择信息最多的帧，目的是用有限数量的静止图像表示视频的最重要内容。作为示例，US7889794使用视频摄像机中的摄像机运动传感器提供在图像捕获期间关于摄像机运动的信息。接着，基于摄像机运动评估，将该视频划分成多个视频片段，并且从每个视频片段提取关键帧。

US2016063343A涉及一种用于从视频序列选择帧的方法。在第一步骤中，将参考关键帧的子集与视频隔离。接着，迭代地为与每个参考关键帧相邻的多个候选帧中的每一个候选帧计算清晰度分数，直至为每个参考关键帧标识具有最高清晰度分数的候选。然后，选择具有最高质量分数的帧。此解决方案的缺陷在于：为两个参考关键帧选择的候选帧可能彼此非常接近，或者甚至相邻。来自两个相邻帧的信息内容时常非常接近，因此这一方法可能产生冗余帧。