[发明专利]基于虚拟代理交互的虚拟训练系统与方法

说明书

本发明公开了一种基于虚拟代理交互的虚拟训练系统与方法，本发明允许用户根据自身需求或训练目标选择不同的交互类型、不同情境和不同性格特征的虚拟提问者进行面试训练，能满足多样性的焦虑情境呈现和个性化训练需求；利用3D眼镜和立体投影呈现仿真的虚拟训练环境，通过蓝牙耳机与虚拟提问者直接语音交互来实现自然、沉浸式的面试体验；在面试过程中进行多模态感知，包括动作识别、情感识别和生理状态识别，以此来更好地了解用户的面试状态。本系统不需要昂贵的虚拟现实设备，用户通过多次训练即可有效地降低焦虑，提高交流技能。

技术领域

本发明涉及一种基于虚拟代理交互的虚拟训练系统与方法。

背景技术

虚拟现实(简称VR)技术在教育、训练甚至心理问题矫治方面均有重要实践意义和应用前景。由于VR技术可以构建三维、逼真的虚拟环境，在情境模拟中有诸多优势，因此对于情境性焦虑矫治和应对训练尤其有应用价值。Jumet等人(2007)利用虚拟情境模拟来干预学生的考试焦虑。虚拟环境按照考试准备的时间呈现场景：考生的家、地铁、考点、走廊和教室。结果显示，虚拟现实环境能够激发高考试焦虑的学生的情绪反应，可用于焦虑症干预和技能训练。Wallach等人(2011)的另外一项研究中，通过随机分组实验的方法比较虚拟情境模拟训练对公共演讲焦虑被试的干预效果，结果表明该方法用于降低公共演讲焦虑是可行的。因此，利用VR技术进行情境模拟来缓解面试焦虑并训练面试技能具有可行性。

在针对面试、演讲情境性焦虑的虚拟训练情境中，教学代理是一个关键部分。代理的存在和特征能显著影响训练体验和效果。除了具备特定的外貌特征，它们还需要具有一定的“知觉”以及可以被识别的“表情反应”进而与训练者进行互动，从而实现虚拟的社交活动。Slater(2010)等人曾将VR技术用于社交焦虑研究，并制作了能表现出不同态度(中立、赞赏、厌烦)的虚拟听众(代理)，让被试在虚拟听众前发表演讲。结果发现，被试的演讲效果明显受到虚拟听众的影响。Bian等人(2016)将具有不同人格类型的代理用于虚拟太极拳训练，也发现代理类型显著影响训练体验和表现。因此，在情境模拟时设定不同类型的虚拟代理是必要的。

综上所述，基于虚拟代理互动的VR训练环境应用于不同情境(如面试等)的焦虑应对技能训练具有潜在应用价值。然而，目前虚少有研究通过提供系统地面试技能训练来切实地提升大学生的能力，从而降低相应的焦虑感。另外，现有研究也忽视了不同虚拟代理在虚拟情境模拟训练中的作用。

发明内容

本发明为了解决上述问题，提出了一种基于虚拟代理交互的虚拟训练系统与方法，本发明允许用户根据自身需求或训练目标选择不同的交互类型、不同情境和不同性格特征的虚拟提问者进行面试训练，能满足多样性的焦虑情境呈现和个性化训练需求；利用3D眼镜和立体投影呈现仿真的虚拟训练环境，通过蓝牙耳机与虚拟提问者直接语音交互来实现自然、沉浸式的面试体验；在面试过程中进行多模态感知，包括动作识别、情感识别和生理状态识别，以此来更好地了解用户的面试状态。本系统不需要昂贵的虚拟现实设备，用户通过多次训练即可有效地降低焦虑，提高交流技能。

为了实现上述目的，本发明采用如下技术方案：

一种基于虚拟代理交互的虚拟训练系统，包括：

人脸识别模块，被配置为对用户身份进行识别；

面试情景选择模块，被配置为进行类型选择和会议室场景选择；

情感识别模块，被配置为利用网络摄像头实时识别用户情绪状态；

动作识别模块，被配置为利用Kinect识别用户情景交互过程中的动作；

生理信号识别模块，被配置为通过生理信号传感器集用户的皮肤电、心电和脑电生理数据并进行实时分析以此得出用户情绪状态以及专注度；

交互模块，被配置为实现用户与虚拟提问者的交互，完成模拟情景，识别和记录用户的作答以及状态，并据此与用户进行反应和互动，完成模拟情景训练过程；