[发明专利]视频处理方法、装置、终端设备及存储介质在审
申请号: | 201910511183.6 | 申请日: | 2019-06-13 |
公开(公告)号: | CN110400251A | 公开(公告)日: | 2019-11-01 |
发明(设计)人: | 马凯;杨国基 | 申请(专利权)人: | 深圳追一科技有限公司 |
主分类号: | G06T3/00 | 分类号: | G06T3/00;G06T13/20;G06T13/80;G06N20/00;G06F16/332;G06F16/33 |
代理公司: | 深圳市智圈知识产权代理事务所(普通合伙) 44351 | 代理人: | 苗燕 |
地址: | 518057 广东省深圳市粤海街*** | 国省代码: | 广东;44 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 交互信息 音频信息 视频 面部特征 模拟人脸 答复 机器学习模型 存储介质 人脸图像 视频处理 终端设备 图像 客服 预设 机器人 替换 多模态交互 企业级应用 对话内容 申请 输出 对话 优化 | ||
1.一种视频处理方法,其特征在于,所述方法包括:
获取用户输入的交互信息;
对所述交互信息进行识别,获取与所述交互信息对应的特定音频信息;
将所述特定音频信息输入至第一机器学习模型,获得与所述特定音频信息对应的面部特征点;
将所述面部特征点输入至第二机器学习模型,获得与所述面部特征点对应的模拟人脸图像,所述第二机器学习模型为生成对抗网络模型,所述模拟人脸图像为二维人脸图像;
将预设视频中的预设人脸图像替换为所述模拟人脸图像,并获得替换人脸图像后的包含所述模拟人脸图像的答复视频,所述预设人脸图像为二维人脸图像,所述将预设视频中的预设人脸图像替换为所述模拟人脸图像为基于二维图像处理的图像替换;
输出针对所述交互信息的所述答复视频,所述答复视频中包含所述特定音频信息。
2.根据权利要求1所述的方法,其特征在于,所述交互信息包括语音信息、文本信息、图像信息中的至少一种,所述对所述交互信息进行识别,获取与所述交互信息对应的特定音频信息,包括:
对所述交互信息进行识别,获取与所述交互信息对应的交互文本;
在问答库中查询并获取与所述交互文本对应的答复文本;
合成与所述答复文本对应的特定音频信息。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:
获取第一训练样本集,所述第一训练样本集包括从第一预训练视频中抽取的人脸图像的面部特征点以及与所述面部特征点对应的音频;
将所述第一训练样本集输入所述第一机器学习模型,对所述第一机器学习模型进行训练;
获取第二训练样本集,所述第二训练样本集包括从第二预训练视频中抽取的人脸图像以及与所述人脸图像对应的面部特征点;
将所述第二训练样本集输入所述第二机器学习模型,对所述第二机器学习模型进行训练。
4.根据权利要求3所述的方法,其特征在于,所述第二预训练视频与所述预设视频中的人脸图像为同一人的人脸图像。
5.根据权利要求3所述的方法,其特征在于,所述第一预训练视频与所述第二预训练视频中的人脸图像为同一人或不同人的人脸图像。
6.根据权利要求1所述的方法,其特征在于,所述将预设视频中的预设人脸图像替换为所述模拟人脸图像,包括:
在预设视频中确定与所述模拟人脸图像对应的图像替换区域,所述图像替换区域为所述预设视频中的预设人脸图像的局部区域或全部区域;
将所述模拟人脸图像覆盖至所述图像替换区域。
7.根据权利要求1所述的方法,其特征在于,所述面部特征点包括唇形特征点、面部轮廓特征点以及人脸细节特征点中的至少一种。
8.一种视频处理装置,其特征在于,所述装置包括:
信息输入模块,用于获取用户输入的交互信息;
音频获取模块,用于对所述交互信息进行识别,获取与所述交互信息对应的特定音频信息;
特征点获取模块,用于将所述特定音频信息输入至第一机器学习模型,获得与所述特定音频信息对应的面部特征点;
人脸生成模块,用于将所述面部特征点输入至第二机器学习模型,获得与所述面部特征点对应的模拟人脸图像,所述第二机器学习模型为生成对抗网络模型,所述模拟人脸图像为二维人脸图像;
人脸替换模块,用于将预设视频中的预设人脸图像替换为所述模拟人脸图像,并获得替换人脸图像后的包含所述模拟人脸图像的答复视频,所述预设人脸图像为二维人脸图像,所述将预设视频中的预设人脸图像替换为所述模拟人脸图像为基于二维图像处理的图像替换;
视频输出模块,用于输出针对所述交互信息的所述答复视频,所述答复视频中包含所述特定音频信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于深圳追一科技有限公司,未经深圳追一科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201910511183.6/1.html,转载请声明来源钻瓜专利网。
- 上一篇:基于AI的智能图像预处理方法及系统
- 下一篇:料场等高线数字化方法及系统