[发明专利]基于虚拟人的多模态交互处理方法及系统

说明书

技术领域

本发明涉及人机交互领域，尤其涉及一种基于虚拟人的多模态交互处理方法及系统。

背景技术

随着科学技术的不断发展，信息技术、计算机技术以及人工智能技术的引入，机器人的研究已经逐步走出工业领域，逐渐扩展到了医疗、保健、家庭、娱乐以及服务行业等领域。而人们对于机器人的要求也从简单重复的机械动作提升为具有拟人问答、自主性及与其他机器人进行交互的智能机器人，人机交互也就成为决定智能机器人发展的重要因素。

目前机器人包括具备实体的实体机器人和搭载在硬件设备上的虚拟人。现有技术中的虚拟人无法进行多模态交互，且一直呈现出固定不变的状态，无法实现逼真、流畅、拟人的交互效果。因此，提升虚拟人的交互能力，是现在亟需解决的重要问题。

发明内容

本发明所要解决的技术问题之一是需要提供一种基于虚拟人的多模态交互处理方法及系统，使得虚拟人在与用户交互时，可以做到语音、面部表情、情感、头部、肢体融合，以呈现出逼真、流畅的人物交互效果，满足用户需求，改善了用户体验。

为了解决上述技术问题，本申请的实施例首先提供了一种基于虚拟人的多模态交互处理方法，所述虚拟人在智能设备运行，该方法包括如下步骤：唤醒虚拟人，以使所述虚拟人显示在预设显示区域内，所述虚拟人具备特定的性格和属性；获取多模态数据，所述多模态数据包括来自周围环境的数据及与用户进行交互的多模态输入数据；调用虚拟人能力接口解析所述多模态数据，并决策多模态输出数据；将所述多模态输出数据匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数，所述多模态输出数据至少包含语音数据；将所述执行参数呈现于所述预设显示区域内。

优选地，将所述多模态输出数据匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数包括：将多模态输出数据匹配虚拟人嘴型的执行参数以输出嘴型运动；所述虚拟人配置有相较面部表情、头部动作及肢体动作更多的嘴型的执行参数。

优选地，将所述多模态输出数据中的语音数据匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数包括：将所述语音数据转化为文本数据；针对虚拟人嘴型、面部表情、头部动作及肢体动作匹配过程遵循统一的文本切词处理结果。

优选地，还包括：获取当前虚拟人所在场景信息，所述场景信息包括应用场景信息及外部场景信息；决策多模态输出数据的步骤包括：提取所述场景信息并以此筛选出匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数。

优选地，还包括：获取当前虚拟人涉及的领域信息；决策多模态输出数据的步骤包括：提取所述领域信息并以此筛选出匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数。

优选地，所述虚拟人由3D高模构造成型。

优选地，所述虚拟人能力接口包括：语义理解接口、视觉识别接口、认知计算接口、情感计算接口。

根据本发明实施例的另一方面，还提供了一种基于虚拟人的多模态交互处理系统，所述虚拟人在智能设备运行，该系统包括如下模块：虚拟人唤醒模块，其唤醒虚拟人，以使所述虚拟人显示在预设显示区域内，所述虚拟人具备特定的性格和属性；多模态数据获取模块，其获取多模态数据，所述多模态数据包括来自周围环境的数据及与用户进行交互的多模态输入数据；多模态数据解析模块，其调用虚拟人能力接口解析所述多模态数据，并决策多模态输出数据；执行参数匹配模块，其将所述多模态输出数据匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数，所述多模态输出数据至少包含语音数据；执行参数显示模块，其将所述执行参数呈现于所述预设显示区域内。

优选地，所述执行参数匹配模块进一步执行如下操作：将多模态输出数据匹配虚拟人嘴型的执行参数以输出嘴型运动；所述虚拟人配置有相较面部表情、头部动作及肢体动作更多的嘴型的执行参数。

优选地，所述执行参数匹配模块还执行如下操作：将所述语音数据转化为文本数据；针对虚拟人嘴型、面部表情、头部动作及肢体动作匹配过程遵循统一的文本切词处理结果。

优选地，该系统还包括：场景信息获取模块，其获取当前虚拟人所在场景信息，所述场景信息包括应用场景信息及外部场景信息；所述多模态数据解析模块，其提取所述场景信息并以此筛选出匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数。

优选地，该系统还包括：领域信息获取模块，其获取当前虚拟人涉及的领域信息；所述多模态数据解析模块，其提取所述领域信息并以此筛选出匹配虚拟人嘴型、面部表情、头部动作及肢体动作的执行参数。