[发明专利]对图像执行对象照明操纵的方法和装置

说明书

提供了一种对第一图像执行对象照明操纵操作的方法和照明操纵设备。该方法包括：接收第一图像和光方向输入；生成具有从第一图像检测到的第一对象的第二图像；基于光方向确定第二图像的第二对象照明；以及用第二对象照明替换第一图像的第一对象照明。

技术领域

本公开涉及对图像中对象的照明的操纵。更具体地，本公开涉及一种对图像序列中的图像执行对象照明操纵的方法以及实现该方法的用户计算设备。

背景技术

图1是示出根据相关技术的对图像执行对象照明操纵的一般操作。

用于操纵图像中的对象的照明的方法通常包括：在操作S10中输入对象图像，在操作S11中检测对象界标，在操作S12中提取对象反照率和照明，在操作S13中改变对象照明，在操作S14中将对象反照率和改变后的照明混合，以及在操作S15中将经混合的对象反照率和改变后的照明施加到对象图像。

三菱电机研究所的题为“用于定向照明的归一化的脸部补亮(Face relightingfor normalization of directional lighting)”的2008年1月29日的美国专利US 7,324,688 B2描述了一种使用逐块优化算法执行照明操纵以提取反照率和照明图以进一步进行脸部照明归一化的方法。该′688号专利中公开的方法的主要缺点是由于将照明操纵方法应用于脸部图像而导致独特的脸部特征发生了变化。由此，图像上的已经受了这种照明操纵方法的脸部变得类似于用于这种照明操纵的参考脸部。

数码光学欧洲有限公司(DIGITALOPTICS CORPORATION EUROPE LIMIT)等的题为“基于纹理空间分解在统计脸部建模中分离定向照明可变性(Separating directionallighting variability in statistical face modeling based on texture spacedecomposition)”的2013年11月12日的另一项美国专利US 8,582,896 B2描述了一种使用通用脸部模型将图像分解为反照率和照明的方法，其中该通用脸部模型是通过将主成分分析(PCA)投影到在任意图像数据库上训练的均匀光子空间(Uniform Light Subspace)而创建的。根据该′896号专利的描述，这种方法只能在一定程度上消除照明。此外，该′896号专利的方法无法消除彩色照明，并且不能设计为以高分辨率处理脸部图像。

微软公司的题为“脸部图像处理(Facial image processing)”的2008年10月7日的另一项美国专利US 7,433,807 B2描述了一种处理脸部图像的方法，该方法使用若干个闪光灯创建3D脸部模型，并基于3D模型法线将反照率与照明分开。该′807号专利中教示的方法需要无法集成到用户移动设备中的大量硬件。此外，该′807号专利中公开的算法必须分析若干个不同的图像，因此，它的计算量很大并且不能实时实现。

ANTHROPICS技术有限公司的题为“图像操纵(Image manipulation)”的2018年1月2日的另一项美国专利US 9,858,654 B2描述了一种处理图像的方法，该方法形成了基于PCA的2D模型，该模型与输入的脸部图像融合以产生具有基于PCA系数进行控制的新照明的输出图像。该′654号专利中公开的方法不能去除刺眼的阴影，并且导致改变图像中独特的脸部特征。此外，该′654号专利中提出的方法相当慢(由于使用了相应的PortraitPro软件)，因此不能在实时应用中使用。

其它实现方式在本领域中是已知的，但是不能充分解决上述问题。

以上信息仅作为背景信息呈现，以帮助理解本公开。没有确定也没有断言以上内容中的任何内容是否可以用作关于本公开的现有技术。

发明内容

问题的解决方案