[发明专利]所捕获图像的改善的面部质量

说明书

本公开涉及用于图像处理的技术。一种此类技术包括用于图像选择的方法，包括：获得图像序列；检测图像序列中的一个或多个图像中的第一面部；确定具有所检测到的第一面部的每个图像中的所检测到的第一面部的第一位置；基于所检测到的第一面部在图像序列中的每个图像中的第一位置来生成热图；确定具有所检测到的第一面部的一个或多个图像中的每个图像的所检测到的第一面部的面部质量分数；部分地基于该面部质量分数和所生成的热图确定所检测到的第一面部的峰值面部质量分数；以及选择图像序列中对应于所检测到的第一面部的峰值面部质量分数的第一图像。

背景技术

本文所公开的主题涉及数字成像领域，并且不限于用于改善所捕获图像的面部质量的技术。

数字成像系统(诸如视频或静态成像相机)能够在相对短的时间段内捕获大量图像。相机越来越多地能够每秒捕获几十或甚至几百个图像。图像捕获也可在其他用户交互之前或之后发生。例如，可在相机活动但尚未按下(或刚刚释放)捕获按钮时捕获图像，以便补偿用户过晚(或过快)按下捕获按钮。

在许多情况下，用户可能仅想要保留单个图像或这些图像的相对较小的子集。用于从图像序列(诸如视频剪辑或图像突发)中选择图像的现有技术包括使用面部检测、表情检测和/或运动检测。然而，此类技术可能不是最适用于捕获具有人脸的高质量表示的全范围图像。例如，先前的具体实施已经尝试使用面部和表情检测来定位面部，然后检测这些面部上的微笑或其他类似表情，以便捕获或选择图像。然而，微笑面部不足以限定用户可能想要捕获的面部图像的范围。与例如以某种方式观看、具有某种表情或以视觉上令人愉悦的方式呈现(或构成)的面部等的人相比，用户可能对人微笑的图像不太感兴趣。因此，期望用于基于总体面部质量或“图片价值”来检测和捕获图像的技术。

发明内容

本公开整体涉及图像处理领域。更具体地但非限制性地，本公开的各方面涉及用于图像处理的计算机实现的方法。在一些实施方案中，该方法包括：获得图像序列；检测图像序列中的一个或多个图像中的第一面部；确定具有检测到的第一面部的图像序列中的一个或多个图像中的每个图像中的检测到的第一面部的第一位置；基于检测到的第一面部在图像序列中的每个图像中的第一位置生成热图；确定具有检测到的第一面部的图像序列中的一个或多个图像中的每个图像的检测到的第一面部的面部质量分数；至少部分地基于该面部质量分数和所生成的热图来确定检测到的第一面部的峰值面部质量分数；以及选择图像序列中的对应于检测到的第一面部的峰值面部质量分数的第一图像。

本公开的各方面涉及基于图像序列中的图像内的面部的相对位置和质量(例如，就“图片价值”而言)来选择图像。面部的相对位置可基于时间热图来确定，该时间热图累积图像序列上的一个或多个面部的热图值。热图形式的这种累积可用于帮助不再强调瞬态面部，即在相对长的时间段内不存在于图像序列中的面部，这可能不太可能是图像的期望对象，从而允许选择用户更可能期望的图像，即，包括存在于图像序列中的较大部分中的面部的照片。

如上所述，可使用人工智能(AI)技术(诸如机器学习或深度学习)来评估在图像序列中的图像中检测到的面部的“图片质量”，以生成面部质量分数。热图值可用于进一步加权或缩放面部质量分数，例如，基于给定面部在图像序列上的时间流行率。面部识别还可用于进一步加权或缩放面部质量分数，例如，基于所识别的面部和图像所有者的紧密相关程度。

然后可基于所得的面部质量分数(即，包括任何期望的加权方案)来选择来自图像序列中的图像。本文所公开的图像选择方法还可用于实现成像设备的“无快门”模式，例如允许成像设备确定例如在开放式或预定时间间隔内自动捕获图像(即，无需用户干预)的最佳时刻。图像选择可应用于单人图像或多人图像。在某些情况下，意图分类器可用于基于图像可能反映单人图像和/或多人群组图像的“图片价值”版本的程度来对图像进行评级。