[发明专利]一种虚拟人物表情驱动方法和系统在审
申请号: | 202110785312.8 | 申请日: | 2021-07-12 |
公开(公告)号: | CN113506360A | 公开(公告)日: | 2021-10-15 |
发明(设计)人: | 余国军;梁帅东;尹川;虞强 | 申请(专利权)人: | 北京顺天立安科技有限公司 |
主分类号: | G06T13/00 | 分类号: | G06T13/00;G06N3/04;G10L15/26;G10L25/03 |
代理公司: | 北京知呱呱知识产权代理有限公司 11577 | 代理人: | 胡乐 |
地址: | 100089 北京市海淀区西*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 虚拟 人物 表情 驱动 方法 系统 | ||
本申请实施例公开了一种虚拟人物表情驱动方法和系统,所述方法包括:通过获取用户的语音信息;将所述语音信息的音量信息进行解析,得到所述语音信息的文字信息;将所述语音信息中的音量信息进行音量分析,得到对应口型表情指令;将所述语音信息的文字信息和对应口型表情指令合并进行语义计算,获得应答;将获得的应答转化为应答语音,将所述应答语音转化为表情口型动画数据,以驱动虚拟人物做出对应的表情和口型。简化了表情动画的生成,可以广泛应用于智能音箱、智能机器人、聊天机器人等场景,使这类产品拟人化,具备了情感交互体验。
技术领域
本申请实施例涉及人工智能技术领域,具体涉及一种虚拟人物表情驱动方法和系统。
背景技术
随着大数据和深度学习技术的发展,语音识别和声纹识别越来越多的运用于各行各业,包括目标任务确认,语音开锁,智能语音机器人等行业,还包括智能人机交互,声控机器人,智能家居语音唤醒等,随着深度学习技术的不断发展,声纹识别和语音识别技术已经出现了很多影响人们生活的产品,越来越大的影响了人类生活。
传统的口型、表情驱动需要由模特配合,例如:通过拍摄模特不同的表情不同的口型,再通过算法将表情口型数字化,最终将表情口型参数应用于虚拟角色,驱动虚拟角色的表情口型,生成表情口型动画。这个过程非常麻烦,该技术也难以应用于当今智能机器人、智能直播、聊天机器人等,其传统的表情捕捉方式已经难以适应快速发展的新型技术。
发明内容
为此,本申请实施例提供一种虚拟人物表情驱动方法和系统,简化了表情动画的生成,可以广泛应用于智能音箱、智能机器人、聊天机器人等场景,使这类产品拟人化,具备了情感交互体验。
为了实现上述目的,本申请实施例提供如下技术方案:
根据本申请实施例的第一方面,提供了一种虚拟人物表情驱动方法,所述方法包括:
获取用户的语音信息;
将所述语音信息的音量信息进行解析,得到所述语音信息的文字信息;
将所述语音信息中的音量信息进行音量分析,得到对应口型表情指令;
将所述语音信息的文字信息和对应口型表情指令合并进行语义计算,获得应答;
将获得的应答转化为应答语音,将所述应答语音转化为表情口型动画数据,以驱动虚拟人物做出对应的表情和口型。
可选地,所述将所述应答语音转化为表情口型动画数据,包括:将所述应答语音导入至预先训练好的卷积神经网络内,结合设定的表情口型动画的权重,获得表情口型动画数据。
可选地,所述将获得的应答转化为应答语音,包括:将应答的结果经TTS模块转化为应答语音,所述应答语音为对用户的应答语音,包括通过音量分析模块分析出来的口型表情指令。
可选地,所述用户的语音信息是通过智能音箱、智能机器人、聊天机器人、麦克风进行采集的。
根据本申请实施例的第二方面,提供了一种虚拟人物表情驱动系统,所述系统包括:
语音信息获取模块,用于获取用户的语音信息;
文字信息模块,用于将所述语音信息的音量信息进行解析,得到所述语音信息的文字信息;
口型表情指令模块,用于将所述语音信息中的音量信息进行音量分析,得到对应口型表情指令;
语义计算模块,用于将所述语音信息的文字信息和对应口型表情指令合并进行语义计算,获得应答;
驱动模块,用于将获得的应答转化为应答语音,将所述应答语音转化为表情口型动画数据,以驱动虚拟人物做出对应的表情和口型。
可选地,所述驱动模块,具体用于:
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京顺天立安科技有限公司,未经北京顺天立安科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202110785312.8/2.html,转载请声明来源钻瓜专利网。