[发明专利]基于深度学习的视频换脸方法、装置、设备及存储介质在审
申请号: | 202110754216.7 | 申请日: | 2021-07-01 |
公开(公告)号: | CN113486785A | 公开(公告)日: | 2021-10-08 |
发明(设计)人: | 张攀;刘求索 | 申请(专利权)人: | 深圳市英威诺科技有限公司 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;G06K9/62 |
代理公司: | 深圳市世纪恒程知识产权代理事务所 44287 | 代理人: | 高莎 |
地址: | 518000 广东省深圳市南山区粤海街道*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 深度 学习 视频 方法 装置 设备 存储 介质 | ||
1.一种基于深度学习的视频换脸方法,其特征在于,所述基于深度学习的视频换脸方法包括:
在接收到待换脸视频的换脸指令时,根据所述换脸指令获取预存换脸模型;
提取所述待换脸视频中的待换脸视频帧;
当所述待换脸视频帧中存在人脸信息时,将所述待换脸视频帧中的人脸信息通过所述预存换脸模型进行换脸图像确定,得到换脸图像;
根据所述换脸图像对所述待换脸视频进行更新,得到目标视频。
2.如权利要求1所述的方法,其特征在于,所述在接收到待换脸视频的换脸指令时,根据所述换脸指令获取预存换脸模型之前,还包括:
获取历史换脸图像、历史替换图像和历史目标视频帧;
根据所述历史换脸图像、所述历史替换图像和所述历史目标视频帧对原始模型进行训练,得到训练后的模型;
通过预设格式对所述训练后的模型进行调整,得到预存换脸模型。
3.如权利要求2所述的方法,其特征在于,所述根据所述历史换脸图像、所述历史替换图像和所述历史目标视频帧对原始模型进行训练,得到训练后的模型之前,还包括:
获取若干个预设损失函数;
根据所述预设损失函数得到预设总损失函数;
根据所述预设总损失函数对所述原始模型进行更新,得到目标模型;
所述根据所述历史换脸图像、所述历史需替换图像和所述历史目标视频帧对原始模型进行训练,得到训练后的模型,包括:
根据所述历史换脸图像、所述历史需替换图像和所述历史目标视频帧对所述目标模型进行训练,得到训练后的模型。
4.如权利要求1所述的方法,其特征在于,所述当所述待换脸视频帧中存在人脸信息时,将所述待换脸视频帧中的人脸信息通过所述预存换脸模型进行换脸图像确定,得到换脸图像,包括:
当所述待换脸视频帧中存在人脸信息时,根据所述待换脸视频帧得到对齐人脸图像;
将所述对齐人脸图像通过所述预存换脸模型进行换脸图像确定,得到换脸图像。
5.如权利要求4所述的方法,其特征在于,所述当所述待换脸视频帧中识别到人脸时,根据所述待换脸视频帧得到对齐人脸图像,包括:
当所述待换脸视频帧中识别到人脸时,对所述待换脸视频帧进行检测,得到若干个人脸关键点;
根据所述人脸关键点在所述待换脸视频帧中剪切出预设尺寸的人脸区域图像;
根据所述人脸区域图像将人脸进行对齐操作,得到对齐人脸图像。
6.如权利要求1至5中任一项所述的方法,其特征在于,所述提取所述待换脸视频中的待换脸视频帧之后,还包括:
当所述待换脸视频帧中未识别到人脸时,将所述待换脸视频帧作为第一目标视频帧;
查询所述第一目标视频帧在所述待换脸视频中的视频帧位置信息;
根据所述视频帧位置信息将所述第一目标视频帧写回所述待换脸视频。
7.如权利要求1至5中任一项所述的方法,其特征在于,所述根据所述换脸图像对所述待换脸视频进行更新,得到目标视频,包括:
查询所述换脸图像在所述待换脸视频帧的对应位置;
根据所述对应位置确定替换图像;
将所述待换脸视频帧中的所述换脸图像替换为所述替换图像,得到第二目标视频帧;
根据所述第二目标视频帧对所述待换脸视频进行更新,得到目标视频。
8.一种基于深度学习的视频换脸装置,其特征在于,所述基于深度学习的视频换脸装置包括:
调用模块,用于在接收到待换脸视频的换脸指令时,根据所述换脸指令获取预存换脸模型;
提取模块,用于提取所述待换脸视频中的待换脸视频帧;
处理模块,用于当所述待换脸视频帧中存在人脸信息时,将所述待换脸视频帧中的人脸信息通过所述预存换脸模型进行换脸图像确定,得到换脸图像;
更新模块,用于根据所述换脸图像对所述待换脸视频进行更新,得到目标视频。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳市英威诺科技有限公司,未经深圳市英威诺科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110754216.7/1.html,转载请声明来源钻瓜专利网。