[发明专利]虚拟人多模态交互的输出方法和系统

说明书

技术领域

本发明涉及人工智能领域，具体地说，涉及一种用于虚拟人多模态交互的输出方法和系统。

背景技术

机器人聊天交互系统的开发致力于模仿人类对话。早期广为人知的聊天机器人应用程序包括小i聊天机器人、苹果手机上的siri聊天机器人等处理所接收到的输入(包括文本或语音)并进行响应，以试图在上下文之间模仿人类响应。

然而，要想完全模仿人类对话，丰富用户的交互体验，现有的这些机器人聊天系统远远达不到要求。

发明内容

为解决上述问题，本发明提供了一种虚拟人多模态交互的输出方法，所述方法包括以下步骤：

响应于接收的指令进入唤醒状态，将形象显示在预设显示区域内；

获取多模态交互输入数据；

调用能力接口解析所述交互输入数据，并生成对应的多模态决策输出数据；

将所述多模态输出数据中的语音文件与嘴型模型进行匹配，通过匹配该语音的嘴型文件输出该语音，所述嘴型模型包括：拼音模型及其与切分字词信息的融合数据。

根据本发明的一个实施例，还包括：拼音模型执行如下步骤：

同时，将对所述语音文件进行语音识别并转换为文本；

对所述文本按照拼音音节划分，将拼音音节与嘴型参量进行匹配，生成拼音模型。

根据本发明的一个实施例，嘴型模型执行如下步骤：对采集的语音文件进行切分以生成结构化字词；

提取出所述结构化字词的信息，包括：其所在的语音文件中的起始时间、结束时间以及最强振幅；

将所述拼音模型与所述结构化字词信息进行融合，生成与嘴型参量对应的嘴型模型。

根据本发明的一个实施例，将所述拼音模型与所述结构化字词信息进行融合，包括：

将声母和韵母对应的嘴型的参量进行融合形成对应于字的嘴型的参量；

将各个音节的嘴型的参量进行融合形成对应于音节组合的嘴型的参量；

将所述对应于字的嘴型的参量进一步进行融合形成对应于字字组合的嘴型的参量；

将上述各个嘴型的参量根据语音表达节奏加上对应于结尾字的嘴型的参量进行匹配组合形成最终的嘴型模型。

根据本发明的一个实施例，所述嘴型的各个参量包括：嘴型形状、嘴型幅度和舌头形态。

根据本发明的另一个方面，还提供了一种存储介质，其上存储有可执行以上任一项所述的方法步骤的程序代码。

根据本发明的另一个方面，还提供了一种虚拟人多模态交互的输出装置，所述装置包含：

响应模块，其用于响应于接收的指令进入唤醒状态，将形象显示在预设显示区域内；

获取模块，其用于获取多模态交互输入数据；

调用模块，其用于调用能力接口解析所述交互输入数据，并生成对应的多模态决策输出数据；

匹配模块，其用于将所述多模态输出数据中的语音文件与嘴型模型进行匹配，通过匹配该语音的嘴型文件输出该语音，所述嘴型模型包括：拼音模型及其与切分字词信息的融合数据。

根据本发明的一个实施例，所述匹配模块还包括以下单元：

转换单元，其用于将对所述语音文件进行语音识别并转换为文本；

划分单元，其用于对所述文本按照拼音音节划分，将拼音音节与嘴型参量进行匹配，生成拼音模型。

根据本发明的一个实施例，所述装置包含：

切分单元，其用于对采集的语音文件进行切分以生成结构化字词；

提取单元，其用于提取出所述结构化字词的信息，包括：其所在的语音文件中的起始时间、结束时间以及最强振幅；

融合单元，其用于将所述拼音模型与所述结构化字词信息进行融合，生成与嘴型参量对应的嘴型模型。

根据本发明的另一个方面，还提供了一种虚拟人多模态交互的输出系统，其特征在于，所述系统包含：

硬件设备，其用于显示虚拟人的形象以及用户与虚拟人交互过程中数据的处理；

云端服务器，其用于配合所述硬件设备完成以下步骤：

调用能力接口解析所述交互输入数据，并生成对应的多模态决策输出数据；

将所述多模态输出数据中的语音文件与嘴型模型进行匹配，通过匹配该语音的嘴型文件输出该语音，所述嘴型模型包括：拼音模型及其与切分字词信息的融合数据。