[发明专利]基于人脸分割的视频预测方法及装置、介质、电子设备有效
申请号: | 201910726347.7 | 申请日: | 2019-08-07 |
公开(公告)号: | CN110427899B | 公开(公告)日: | 2023-06-13 |
发明(设计)人: | 宋新慧;袁燚 | 申请(专利权)人: | 网易(杭州)网络有限公司 |
主分类号: | G06V40/16 | 分类号: | G06V40/16;G06V20/40;G06V10/82;G06N3/0464;G06N3/08;G06T7/11;G06T7/136 |
代理公司: | 北京律智知识产权代理有限公司 11438 | 代理人: | 王辉;阚梓瑄 |
地址: | 310052 浙江省*** | 国省代码: | 浙江;33 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 分割 视频 预测 方法 装置 介质 电子设备 | ||
1.一种基于人脸分割的视频预测方法,其特征在于,包括:
根据深度卷积神经网络的当前网络参数值提取人脸图像的第一特征向量以及人脸分割标签的第二特征向量;
配置第二损失函数,并根据所述第一特征向量、第二特征向量以及所述第二损失函数计算所述损失函数值;并判断所述损失函数值是否小于预设阈值;
如果所述损失函数值小于所述预设阈值,则确定所述当前网络参数值对应的深度卷积神经网络为人脸分割模型;
如果所述损失函数值大于所述预设阈值,则利用梯度回传算法调整所述深度卷积神经网络的网络参数值的大小;
利用所述人脸分割模型对无标注的人脸视频数据集进行预测得到所述人脸视频数据集中每帧图像的真伪人脸分割标签;
根据所述人脸视频数据集中的每相邻两帧图像以及所述相邻两帧图像对应的真伪人脸分割标签构建输入数据集;
利用第一损失函数以及所述输入数据集对所述人脸分割模型进行调整得到目标分割模型;所述第一损失函数包括:
L=L1(f1-f2)+w*(J1+J2);
其中,L为第一损失函数;f1为所述每相邻两帧图像中的第一帧图像在所述深度卷积神经网络中的特征;f2为所述每相邻两帧图像中的第二帧图像在所述深度卷积神经网络中的特征;L1为f1与f2之间的距离;w为权重;J1所述每相邻两帧图像中的第一帧图像的损失函数值;J2为所述每相邻两帧图像中的第二帧图像的损失函数值;
对待预测人脸图像进行人脸检测,利用所述目标分割模型对所述待预测人脸图像进行分割得到分割结果,并对多个所述分割结果按顺序进行组合得到人脸预测视频。
2.根据权利要求1所述的基于人脸分割的视频预测方法,其特征在于,所述第二损失函数包括:
其中,J为第二损失函数;C为所述人脸分割标签的数量;yc为第一特征向量;pc为第二特征向量。
3.根据权利要求1或2中任一项所述的基于人脸分割的视频预测方法,其特征在于,所述人脸分割标签包括人脸、左眼眉、右眼眉、左眼、右眼、鼻子、上嘴唇、牙齿、下嘴唇、头发以及背景中的多种。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于网易(杭州)网络有限公司,未经网易(杭州)网络有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910726347.7/1.html,转载请声明来源钻瓜专利网。