[发明专利]一种逆向渲染的人脸图像光照信息编辑方法

说明书

本发明公开了一种逆向渲染的人脸图像光照信息编辑方法，首先从输入人脸图像中逆向渲染出该人脸图像对应的本色图像、残差图像、法线图像；然后使用现有光照参数或者从参考人脸图像中提取出对应的光照参数，结合法线图像与光照参数，获得对应的高光图像；再将高光图像、本色图像和残差图像结合在一起，重建得到编辑后的人脸图像。本发明显式利用了人脸本色图像和法线图像的物理含义，与传统的修改对比度和亮度的方法相比，显著提升了编辑图像光照信息的准确性和真实度。

技术领域

本发明属于图像处理技术领域，涉及一种人脸图像编辑方法，具体涉及一种逆向渲染的人脸图像光照信息编辑方法。

技术背景

随着智慧城市的建设，城市街道上逐渐安装了越来越多的监控摄像头，部署了视频监控系统。每当有危害社会公共安全的事件发生时，视频监控系统采集的庞大信息已成为公安机关破案的第一手信息源，公安人员可以直接从这些信息中提取破案线索和证据。然而，大多数犯罪事件都发生在光线不足且光照复杂的场景下。在这种场景下，监控设备拍摄的图像或者视频整体光照偏暗，甚至还受到逆光影响，导致刑侦人员难以辨认出犯罪嫌疑人的面部特征，增加了案件侦破的难度。

最为常见的图像编辑方法是修改对比度和亮度，但是在实际使用过程中，这两类方法效果都不够理想。例如修改对比度，其本质就是让图像中黑色更黑，白色更白；经过修改对比度操作后，对于原本就偏暗的图像变得更暗。同样，简单地修改亮度也无法满足改善图像辨识度的要求，只会进一步模糊掉原本人脸特征就不够显眼的图像。对于光照更为复杂的情况，这两类方法就更加不适用。因此，需要提出更加有效的方法来解决图像和视频中光照不足或逆光干扰的问题。

发明内容

为了解决上述技术问题，本发明提出了一种逆向渲染的人脸图像光照信息编辑方法。

本发明所采用的技术方案，一种逆向渲染的人脸图像光照信息编辑方法，包括以下步骤：

步骤1：获取待编辑人脸图像对应的本色图像A、残差图像R、法线图像N；

步骤2：提取或自定义参考人脸图像中的光照参数L；

步骤3：根据步骤1中得到的法线图像N和步骤2中提取出的光照参数L，生成得到高光图像S；

步骤4：将步骤1中得到的本色图像A与残差图像R以及步骤3中得到的高光图像S，重建出光照信息编辑后的人脸图像。

与现有的图像编辑方案相比，本发明具有以下优点和积极效果：

(1)本发明提出了一套全新的端到端深度学习网络模型，利用该模型把人脸图像逆向渲染成为五个部分：本色图像、残差图像、法线图像和光照系数。通过增加残差图像，提取并保留了在逆向渲染过程中丢失掉的光照残差分量，并且把该分量加入到重建过程中，显著提升了重建人脸的完整性和真实性。

(2)本方法不仅可以用于修改人脸图像中的光照信息，还能用于编辑人脸特征，例如单独编辑逆向渲染出来的本色图，再通过朗伯体光照模型算法，重建出人脸图像，这样可以保证重建出来的人脸图像光照信息的一致性。若直接对人脸图像进行编辑，如祛痘操作，在编辑图像过程中会修改图像部分区域的光照信息，导致图像中光照信息出现差异性，使得图像呈现出不真实的效果。

(3)本发明方法基于的深度学习算法和朗伯体光照模型均来自成熟技术，便于集成现有的模块实现。

附图说明

图1：本发明实施例的处理流程图；

图2：本发明实施例的效果示例图，使用自定义的光照参数编辑图像。第一列为待编辑光照信息的人脸图像，后六列分别为使用了六种不同自定义光照信息编辑后的结果。

图3：本发明实施例的效果示例图，使用参考图像的光照参数编辑图像。第一、四列为待编辑光照信息的人脸图像，第二、五列为参考光照信息的人脸图像，第三、六列为编辑后的人脸图像。