[发明专利]用于编辑面部图像的方法和设备在审

专利信息
申请号: 201580046187.1 申请日: 2015-08-24
公开(公告)号: CN106663340A 公开(公告)日: 2017-05-10
发明(设计)人: 基兰·瓦拉纳西;普拉维尔·辛格;弗朗索瓦·勒·卡洛卡 申请(专利权)人: 汤姆逊许可公司
主分类号: G06T19/20 分类号: G06T19/20
代理公司: 北京东方亿思知识产权代理有限责任公司11258 代理人: 孙洋
地址: 法国伊西*** 国省代码: 暂无信息
权利要求书: 查看更多 说明书: 查看更多
摘要:
搜索关键词: 用于 编辑 面部 图像 方法 设备
【说明书】:

技术领域

发明涉及用于编辑图像的方法和设备。具体地,本发明涉及用于编辑图像中的面部表情的方法和设备,但不完全如此。

背景技术

人脸是捕获到的图像和视频中的重要主题。可以在各种场景(例如,在室内派对场景中或旅游景点前面摆造型)中捕获到人脸。然而,通常没有适当地捕获适合实际情形的人脸表情。在这种情形中,需要图片编辑软件来对面部表情进行修改。可能需要额外的图像来合成例如使人张开嘴或微笑的新表情。然而,这种工作非常繁琐,并且需要使用者具有大量时间和技巧。同时,编辑面部表情是最常见的图片编辑需求之一。

在视频情形中,为使得编辑不产生时序伪迹和抖动,编辑面部表情甚至更难。通常,需要在每个时步对准确的3D模型进行注册,这需要专用的捕获设置或耗费大量计算时间的复杂算法。

考虑到以上情形设计了本发明。

发明内容

一般来说,本发明涉及用于编辑图像中的面部表情的方法,该方法包括:编辑脸部的3D网格模型以修改面部表情,以及生成与经修改的模型相对应的新的图像,从而提供具有经修改的面部表情的图像。

本发明的一方面提供了通过将公共网格模板模型注册到捕获的脸部视频来收集多个脸部区域的肌理数据库的方法。

本发明的另一方面提供了通过在不同的脸部区域中选择最适当的面部表情来产生复合图像的方法。

本发明的另一方面提供了应用局部变形来对所合成的复合图像中的投影变换进行校正的方法。

本发明的另一方面提供了对脸部肌理数据库进行组织和索引并选择与面部表情相对应的最接近的肌理的方法。

本发明的另一方面提供了通过将3D脸部模型操作为代理来执行RGB脸部图像编辑的方法。

本发明的另一方面提供了通过将3D脸部模型编辑为代理来同时使多个脸部图像形成同一面部姿态的方法。

本发明的另一方面涉及对图像中的面部表情进行编辑的方法,该方法包括:

使用融合变形模型来对脸部的变形空间进行参数化;

从与3D面部表情改变相对应的各个面部区域建立图像肌理的数据库;

通过对从数据库读取的、来自不同的面部区域的适当的图像肌理进行复合来生成新的面部图像。

本发明的另一方面提供了对描绘面部表情的图像进行编辑的方法,该方法包括:

提供不同的面部区域的图像块的数据库;

对注册到待编辑的图像的面部模型进行编辑;根据修改从数据库选择块,并从块生成复合图像。

本发明的另一方面提供了对图像中的面部表情进行编辑的设备,该设备包括存储器和与该存储器通信的至少一个处理器,存储器包括指令,当该指令被处理器执行时使得设备执行以下操作:编辑脸部的3D网格模型以修改面部表情;生成与经修改的模型相对应的新的图像,从而提供具有经修改的面部表情的图像。

本发明的另一方面提供用于对图像中的面部表情进行编辑的设备,该设备包括存储器和与存储器通信的至少一个处理器,存储器包括指令,当该指令被处理器执行时使得设备执行以下操作:

访问不同的面部区域的图像块的数据库;

对注册到待编辑的图像的面部模型进行编辑;根据修改从数据库选择块,以及

从块生成复合图像。

本发明的实施例提供了对采用简单的单眼摄像机捕获的脸部视频进行编辑的方法。在预处理阶段,假设对视频应用脸部跟踪算法并且随时间对面部表情注册3D网格模型。然后,在运行时,用户直接编辑脸部的3D网格模型并合成与3D面部表情相对应的新的视觉图像。通过使用线性化融合变形模型并从与3D表情改变相对应的各个面部区域收集图像肌理的数据库来对变形空间进行参数化。通过参考数据库从不同的脸部区域复合最适当的肌理来生成新的脸部图像。这样,提供了一种快速的方式来在给定的输入脸部图像中编辑并合成新的面部表情。

存在针对基于脸部模型的视频编辑的若干种应用。可以用快速且简单的方式对一般消费者拍录的家庭视频和照片进行编辑来显示新的面部表情。根据本发明的实施例的脸部合成技术也可以应用于编辑演员的表情来用于电影的后期制作。也作为通信代理应用于心理学研究以及创建虚拟人阿凡达。

下载完整专利技术内容需要扣除积分,VIP会员可以免费下载。

该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于汤姆逊许可公司,未经汤姆逊许可公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服

本文链接:http://www.vipzhuanli.com/pat/books/201580046187.1/2.html,转载请声明来源钻瓜专利网。

×

专利文献下载

说明:

1、专利原文基于中国国家知识产权局专利说明书;

2、支持发明专利 、实用新型专利、外观设计专利(升级中);

3、专利数据每周两次同步更新,支持Adobe PDF格式;

4、内容包括专利技术的结构示意图流程工艺图技术构造图

5、已全新升级为极速版,下载速度显著提升!欢迎使用!

请您登陆后,进行下载,点击【登陆】 【注册】

关于我们 寻求报道 投稿须知 广告合作 版权声明 网站地图 友情链接 企业标识 联系我们

钻瓜专利网在线咨询

周一至周五 9:00-18:00

咨询在线客服咨询在线客服
tel code