[发明专利]人像卡通化方法、装置、机器人及存储介质在审
申请号: | 202011402970.6 | 申请日: | 2020-12-04 |
公开(公告)号: | CN112465936A | 公开(公告)日: | 2021-03-09 |
发明(设计)人: | 曾钰胜;庞建新;程骏 | 申请(专利权)人: | 深圳市优必选科技股份有限公司 |
主分类号: | G06T13/40 | 分类号: | G06T13/40;G06K9/00;G06K9/32;G06K9/34;G06K9/62;G06N3/04;G06N3/08 |
代理公司: | 深圳中细软知识产权代理有限公司 44528 | 代理人: | 孙凯乐 |
地址: | 518000 广东省深圳市南山区*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 人像 卡通 方法 装置 机器人 存储 介质 | ||
1.一种人像卡通化方法,其特征在于,包括:
获取待处理的原始人物图像;
对所述原始人物图像中的人脸进行识别,根据识别得到的人脸关键点进行人脸对齐,得到对齐后的标准人物图像;
基于所述标准人物图像进行人像分割,滤除背景信息,得到目标人物图像;
将所述目标人物图像作为人像卡通化模型的输入,获取所述人像卡通化模型输出的与所述目标人物图像对应的人物卡通化图像,所述人像卡通化模型是通过生成对抗网络模型训练得到的。
2.根据权利要求1所述的方法,其特征在于,所述生成对抗网络模型包括:正向生成器、反向生成器、第一判别器和第二判别器;所述正向生成器的输出与所述第一判别器连接,所述反向生成器的输出与所述第二判别器连接;
所述正向生成器用于将输入的人物图像转换为人物卡通图像,所述反向生成器用于将输入的人物卡通图像转换为人物图像,所述第一判别器用于计算输入的图像属于人物卡通图像的概率,所述第二判别网络模型用于计算输入的图像属于人物图像的概率。
3.根据权利要求2所述的方法,其特征在于,所述生成对抗网络模型的训练步骤包括:
获取训练图像集,所述训练图像集包括:训练人物图像集和训练人物卡通化图像集;
将训练人物图像输入正向生成器,得到第一输出图像、将所述第一输出图像输入第一判别器得到对应输出的第一概率;
将训练人物卡通图像输入反向生成器,得到第二输出图像、将所述第二输出图像输入第二判别器得到对应输出的第二概率;
将所述第一输出图像输入所述反向生成器,得到第三输出图像;将所述第二输出图像输入所述正向生成器,得到第四输出图像;
计算所述训练人物图像与所述第三输出图像的第一差异值,计算所述训练人物卡通图像与所述第四输出图像的第二差异值;
根据所述第一概率、第二概率、第一差异值和第二差异值计算得到第一损失函数值;
将所述训练人物图像作为人脸特征提取模型的输入,获取所述人脸特征提取模型提取到的第一人脸特征;
将所述第一输出图像作为人脸特征提取模型的输入,获取所述人脸特征提取模型提取到的第二人脸特征;
计算所述第一人脸特征与所述第二人脸特征之间的相似度,根据所述相似度计算得到第二损失函数值;
根据所述第一损函数值和所述第二损失函数值计算得到总损失值,所述总损失值与所述相似度成反相关;
根据所述总损失值更新所述正向生成器、所述反向生成器、所述第一判别器和所述第二判别器中的权重参数,依此循环,直到所述总损失值达到收敛条件,将训练完成得到的正向生成器作为所述人像卡通化模型。
4.根据权利要求2所述的方法,其特征在于,所述正向生成器包括:编码器和解码器,所述编码器和所述解码器是由Hourglass模块组成的。
5.根据权利要求1所述的方法,其特征在于,所述对所述原始人物图像中的人脸进行识别,根据识别得到的人脸关键点进行人脸对齐,得到对齐后的标准人物图像,包括:
根据预设的人体占比确定人脸关键点在预设空间的目标坐标位置;
将所述人脸关键点映射到预设空间的所述目标坐标位置,得到预设空间内对齐后的标准人物图像。
6.根据权利要求1所述的方法,其特征在于,所述基于所述标准人物图像进行人像分割,滤除背景信息,得到目标人物图像,包括:
将所述标准人物图像作为人像分割模型的输入,所述人像分割模型用于从所述标准人物图像中分割出人物图像;
基于所述人像分割模型输出的所述人物图像滤除背景信息,生成所述目标人物图像。
7.根据权利要求6所述的方法,其特征在于,所述人像分割模型采用卷积神经网络训练得到,包括多个卷积层,所述卷积层用于对图像进行特征提取;
在采用所述卷积层进行特征提取之前,还包括:对所述图像进行边缘扩增,以使进行卷积后得到的图像分辨率与输入的标准人物图像的分辨率一致。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市优必选科技股份有限公司,未经深圳市优必选科技股份有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011402970.6/1.html,转载请声明来源钻瓜专利网。