[发明专利]基于虚拟人的多模态交互处理方法及系统

权利要求书

1.一种基于虚拟人的多模态交互处理方法，其特征在于，所述虚拟人在智能设备运行，该方法包括如下步骤：

唤醒虚拟人，以使所述虚拟人显示在预设显示区域内，所述虚拟人具备特定的性格和属性；

获取多模态数据，所述多模态数据包括来自周围环境的数据及与用户进行交互的多模态输入数据；

调用虚拟人能力接口解析所述多模态数据，并决策多模态输出数据；

将所述多模态输出数据匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数，所述多模态输出数据至少包含语音数据；

将所述执行参数呈现于所述预设显示区域内。

2.根据权利要求1所述的方法，其特征在于，将所述多模态输出数据匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数包括：

将多模态输出数据匹配虚拟人嘴型的执行参数以输出嘴型运动；

所述虚拟人配置有相较面部表情、头部动作及肢体动作更多的嘴型的执行参数。

3.根据权利要求1或2所述的方法，其特征在于，将所述多模态输出数据中的语音数据匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数包括：

将所述语音数据转化为文本数据；

针对虚拟人嘴型、面部表情、头部动作及肢体动作匹配过程遵循统一的文本切词处理结果。

4.根据权利要求1所述的方法，其特征在于，

还包括：获取当前虚拟人所在场景信息，所述场景信息包括应用场景信息及外部场景信息；

决策多模态输出数据的步骤包括：

提取所述场景信息并以此筛选出匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数。

5.根据权利要求1所述的方法，其特征在于，

还包括：获取当前虚拟人涉及的领域信息；

决策多模态输出数据的步骤包括：

提取所述领域信息并以此筛选出匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数。

6.根据权利要求1～5中任一项所述的方法，其特征在于，

所述虚拟人由3D高模构造成型。

7.根据权利要求1～6中任一项所述的方法，其特征在于，

所述虚拟人能力接口包括：语义理解接口、视觉识别接口、认知计算接口、情感计算接口。

8.一种基于虚拟人的多模态交互处理系统，其特征在于，所述虚拟人在智能设备运行，该系统包括如下模块：

虚拟人唤醒模块，其唤醒虚拟人，以使所述虚拟人显示在预设显示区域内，所述虚拟人具备特定的性格和属性；

多模态数据获取模块，其获取多模态数据，所述多模态数据包括来自周围环境的数据及与用户进行交互的多模态输入数据；

多模态数据解析模块，其调用虚拟人能力接口解析所述多模态数据，并决策多模态输出数据；

执行参数匹配模块，其将所述多模态输出数据匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数，所述多模态输出数据至少包含语音数据；

执行参数显示模块，其将所述执行参数呈现于所述预设显示区域内。

9.根据权利要求8所述的系统，其特征在于，所述执行参数匹配模块进一步执行如下操作：

将多模态输出数据匹配虚拟人嘴型的执行参数以输出嘴型运动；

所述虚拟人配置有相较面部表情、头部动作及肢体动作更多的嘴型的执行参数。

10.根据权利要求8或9所述的系统，其特征在于，所述执行参数匹配模块还执行如下操作：

将所述语音数据转化为文本数据；

针对虚拟人嘴型、面部表情、头部动作及肢体动作匹配过程遵循统一的文本切词处理结果。

11.根据权利要求8所述的系统，其特征在于，该系统还包括：

场景信息获取模块，其获取当前虚拟人所在场景信息，所述场景信息包括应用场景信息及外部场景信息；

所述多模态数据解析模块，其提取所述场景信息并以此筛选出匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数；

和/或

领域信息获取模块，其获取当前虚拟人涉及的领域信息；

所述多模态数据解析模块，其提取所述领域信息并以此筛选出匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数。