[发明专利]使用脸部检测的自动脸部和皮肤修饰

说明书

技术领域

本申请涉及图像处理，具体地涉及在脸部图像中检测的子区域的图像处理。

背景技术

Proctor和Gamble的美国专利6,571,003提到，在脸部的子区域(例如，脸颊)或由地标点(诸如，拐角或鼻部、眼部或口部)限定的区域中找出并修补脸部缺陷(诸如，斑点、皱纹、毛孔和纹理)。该技术涉及利用蒙板(mask)来替换所限定的区域。P&G专利公开了电子式地改变颜色。

P&G专利还提到检测和修正照明梯度和照明变化。在存在可能引起脸部皮肤上的光泽或较亮区域的方向性照明的情况下，可能出现这些照明梯度或变化。转让给本申请受让人的美国专利申请序列号12/038,147、61/106,910和61/221,425描述了使用Viola-Jones类型分类器级联来检测方向性照明的技术。然而，除了结合脸部追踪技术一起使用这种情况外，确定和修正照明梯度通常会涉及全局分析，其中脸部追踪技术诸如是在美国专利7,403,643和7,315,631以及美国申请序列号11/766,674(公开为2008/0037840)和12/063,089、61/091,700、61/120,289和12/479,593中描述的技术，这些专利全部转让给本发明的受让人。期望具有这样的技术，其针对某些应用和/或在某些情况、环境或约束下，使用局部模糊核(kernel)，而非使用涉及较低效的全局分析的技术。

Kodak的专利7,212,657在图13-图14中示出了生成阴影/峰值图像(基于生成亮度图像和平均亮度图像)、模糊图像和混合图像。Kodak专利公开了通过从亮度图像中减去平均亮度图像来生成阴影/醒目显示强度图像。而且，在图16中，Kodak专利示出了元素1530，其被标记为“使用峰值/谷值图和颜色信息来生成亮度和色度缩放因子”，以及元素1540，其被标记为“修改蒙板区域中像素的亮度和色度”。Kodak专利中描述了脸部检测，但未描述脸部追踪。

与P&G技术类似，Kodak技术涉及全局图像操纵，即，“亮度图像”并未被指示为包括少于整个图像的任何事物，“模糊图像”涉及向整个图像应用核，以及“混合图像”涉及全局图像的三个拷贝。“模糊图像”涉及色度和亮度数据，这意味着为了操纵图像需要使用大量的存储器，尤其在应用涉及资源受限的嵌入式系统的情况下更是如此。关于亮度和色度缩放因子，即使其涉及局部化的缩放因子，Kodak专利中也未将其描述为是为了应用于少于整个图像的任何事物而生成的。

转让给本申请受让人的美国专利申请序列号11/856,721和12/330,719描述了这样的技术，其可以在图像的相关区域上作为单个类光栅扫描而应用，而不用涉及全局分析或者确定全局特性(诸如，平均亮度图像或者阴影或模糊图像)。与P&G专利或Kodak专利相比，这种通过了预定区域的单次通过扫描为嵌入式系统(诸如，数码相机)提供了更高效和更适合的技术。

Hewlett Packard(HP，惠普)公开的专利申请2002/0081003提到喷色法，其通常涉及在图像的样本(例如，可能包括瑕疵或皱纹)上涂覆颜色。HP公开还提到在人脸图像的皱纹上进行模糊化，并且再一次具体描述了对定义了皱纹和周围皮肤的颜色值进行模糊化或混合。HP应用提到了改变亮度以使脸部特征变亮或变暗，诸如使脸部特征变阴暗，并且继续描述了改变与该特征相关联的皮肤颜色值，以便使该特征变阴暗。HP专利进一步公开了通过模糊颜色值来模糊前额和/或脸颊和/或锐化发线。在HP专利中并未描述在多张图像(即，全分辨率或低分辨率和/或子样本参考图像(诸如，在捕获主全分辨率图像之前、期间或之后，利用单独的成像系统捕获的预览、后览(postview)和/或参考图像))上的脸部检测和脸部追踪，也没有针对平滑或模糊数字脸部图像的亮度数据给出任何建议。

肖像是数码照片中最流行的场景之一。肖像图像上的图像润饰是图像处理系统的期望组件。用户可能利用传统软件花费大量时间来隐藏皱纹和瑕疵以使肖像更加漂亮。期望提供创新性的自动肖像场景增强器，其适用于嵌入式设备，诸如，数码照相机、相机电话或其他手持式或以其他方式可便携的具有图像获取组件(例如，镜头、图像感测器)和处理器的消费类电子产品。

发明内容