[发明专利]基于虚拟人的视觉交互方法及系统

权利要求书

1.一种基于虚拟人的视觉交互方法，其特征在于，所述虚拟人通过智能设备展示，在处于交互状态时启动语音、情感、视觉以及感知能力，所述方法包含以下步骤：

通过所述虚拟人输出多模态数据；

接收用户针对所述多模态数据提供的多模态交互数据；

解析所述多模态交互数据，其中：通过视觉能力检测并提取所述多模态交互数据中的手部握拳动作和同时出现的与手部配合的肢体动作，并将其与交互上下文环境进行结合以识别出交互意图；

通过所述虚拟人按照所述交互意图进行多模态交互输出。

2.如权利要求1所述的基于虚拟人的视觉交互方法，其特征在于，在判断周期内，如果所提取的用户的手部动作与预先保存的握拳信息相似度大于第一阈值，则识别所述手部动作作为手部握拳动作。

3.如权利要求2所述的基于虚拟人的视觉交互方法，其特征在于，当同时出现的与手部配合的肢体动作还包括所述用户一个手臂或两个手臂位于身体上半部，并立于胸前时，则判断所述多模态交互数据中的手部握拳动作为用户当前的交互意图。

4.如权利要求2或3所述的基于虚拟人的视觉交互方法，其特征在于，

基于所述虚拟人已经输出的多模态数据将所述交互意图识别为鼓励意图，其中，所述鼓励意图表示用户对所述虚拟人输出的多模态数据的认可并鼓励。

5.如权利要求1-4中任一项所述的基于虚拟人的视觉交互方法，其特征在于，所述虚拟人接收来自多个用户的针对所述多模态数据提供的多模态交互数据，识别出所述多个用户中的主要用户，并对所述主要用户的手部握拳动作以及与手部配合的肢体动作进行检测；

或，

采集当前全部或部分用户的手部握拳动作以及与手部配合的肢体动作，按照预设的用户采集比例确定被采集用户的交互意图。

6.如权利要求1-4中任一项所述的基于虚拟人的视觉交互方法，其特征在于，当所述多模态交互数据中包含语音数据或表情数据时，依据所述手部握拳动作和同时出现的与手部配合的肢体动作，并将其与交互上下文环境进行结合以识别出交互意图，以上步骤还包含：

检测并提取所述多模态交互数据中的语音数据或表情数据；

解析所述语音数据或所述表情数据，判断所述语音数据或所述表情数据与所述手部握拳动作以及与手部配合的肢体动作的意图是否符合；

若符合，则根据解析的结果结合所述手部握拳动作、同时出现的与手部配合的肢体动作以及交互上下文环境作为交互意图；

若不符合，则依据所述手部握拳动作和同时出现的与手部配合的肢体动作，并与交互上下文环境进行结合以识别出交互意图。

7.如权利要求4-6中任一项所述的基于虚拟人的视觉交互方法，其特征在于，通过所述虚拟人按照所述交互意图进行多模态交互输出，包括：通过所述虚拟人按照所述手部握拳动作对应的交互意图输出并展示多模态交互输出，所述多模态交互输出包括：鼓励意图对应的结果数据。

8.一种程序产品，其包含用于执行如权利要求1-7中任一项所述的方法步骤的一系列指令。

9.一种虚拟人，其特征在于，所述虚拟人具备特定的虚拟形象和预设属性，采用如权利要求1-7中任一项所述的方法进行多模态的交互。

10.一种基于虚拟人的视觉交互系统，其特征在于，所述系统包含：

智能设备，其上装载有如权利要求9所述的虚拟人，用于获取多模态交互数据，并语音、情感、表情和动作输出的能力；

云端大脑，其用于对所述多模态交互数据进行语义理解、视觉识别、认知计算以及情感计算，以决策所述虚拟人输出多模态交互数据。