[发明专利]一种基于CNN的保持表情信息的人脸转移方法

说明书

本发明公开了一种基于CNN的保持表情信息的人脸转移方法。该方法通过结合人脸识别网络和表情识别网络达到保存特征信息的脸部转换效果，可以把图片A的人脸转移到另外一张图片B人脸上，在转换的过程中，仍然保持图片B的表情信息和其余的非人脸信息。它解决了两个核心技术问题，一是人脸合成的过程中合成部分与原图部分不和谐的问题；第二个是合成部分和原图部分合成之后人脸信息丢失的问题，包括识别信息和表情信息丢失。实施本发明实施例，可以增加人们生活中对图像处理的需求，使得在人脸处理上又多一样应用；同时，能够使“拍照不适人群”通过图像合成的方式生成更多自己的图片。

技术领域

本发明涉及计算机视觉和人工智能领域，具体涉及一种基于CNN的保持表情信息的人脸转移方法。

背景技术

上世纪80年代Hinton和Rumelhart等人奠定和推广了用来训练多层神经网络的反向传播算法(back-propagation)，神经网络再次迎来了春天。通过反向传播算法，人们可以通过计算机巨量的计算之后，将计算机的学习过程进一步提高到以往的学习算法所不能企及的高度。DeepLearning是多伦多大学GeoffreyHinton教授提出的概念。由于传统的多层感知机很容易陷入局部最小，直接用反向传播算法(Back Propagation)求取的分类效果并不如意，原因一是特征是手工的，二就是局部最小问题。而DeepLearning引入了概率图模型里的生成模型，他可以直接自动的从训练集里提取所需要的特征，典型的模型为有限制玻尔兹曼机(Restricted Boltzmann Machines，简称RBM)，自动提取的特征解决了手工特征考虑不周的因素，而且很好的初始化了神经网络权重，接着可以采用反向传播算法进行分类，实验得出了很好的效果。

CNN是一种针对图像而特别发明的一种网络结构，它基于图像具有强烈位置相关性这样一个先验知识，通过对图像局部提取特征来提高网络的性能。上世纪80年代，LeCun利用BP算法来训练多层神经网络用于识别手写邮政编码，在这项工作中，首先用到了卷积核的概念。而真正代表CNN的被广泛认知的标志工作则是LeCun在1998年提出的LeNet。

2012年，Hinton的学生Alex Krizhevsky用GPU训练了一个DeepLearning模型，一举摘下了视觉领域竞赛ILSVRC 2012的桂冠，在百万量级的ImageNet数据集合上，效果大幅度超过传统的方法，从传统的70％多提升到80％多。从此，Deep Learning一发不可收，ILSVRC的最好成绩每年都不断被Deep Learning刷新。至此，CNN正式成为计算机视觉的各个领域第一工具。

图像生成和风格转移是计算机视觉的一个热门主题，其目标是将一张图的风格应用到另外一张图上。在神经网络之前，图像风格迁移的程序有一个共同的思路：分析某一种风格的图像，给那一种风格建立一个数学或者统计模型，再改变要做迁移的图像让它能更好的符合建立的模型。这样做出来效果尚可，但有一个很大的缺点：一个程序基本只能做某一种风格或者某一个场景。因此基于传统风格迁移研究的实际应用非常有限。2015年，Gatys发表了两篇论文将传统的风格转移工作完全转移到了CNN网络中，从此风格转移的算法就以CNN网络为主。

人脸修复是计算机图像处理上热门的话题。在日常生活中，拍照是我们最常见的生活方式。对于脸部的美化要求，就催生人脸修复的研究。传统的人脸修复是基于图像学或者信号学的算法。通常是采用一些滤波器进行卷积操作，对图像做平滑以达到去掉一些噪声和斑点的作用。2015年，Patrick Perez提出的Poisson Blending算法让图像修复和融合结果更佳的自然。随后，在2017年，Yijun Li小组发表的Generative Face Completion论文提出了使用CNN的算法做人脸修复，其效果能够直接修补人脸中缺失的区域，而不仅仅是对噪声点的填补。

人脸转移是建立在风格转移和人脸修复的基础上新提出的方向，利用CNN神经网络的优秀特性，使得两张图片的人脸转移变得可能。