[发明专利]一种面向虚拟实验的多模态语义融合人机交互系统和方法

权利要求书

1.一种面向虚拟实验的多模态语义融合人机交互系统，其特征在于，包括交互信息集成模块，还包括交互信息获取模块、交互意图推理模块和交互任务直行模块，其中，

所述交互信息集成模块将虚拟对象和实验操作知识信息集成于虚拟环境中并为交互意图推理模块提供数据基础，包括主动对象、交互行为知识规则和被动对象；

所述交互信息模块采用多模态融合模型来准确识别操作者的真实意图，所述多模态融合模型可获取的数据包括用户手势运动数据和语音数据，并将获取到的信息提供给交互意图推理模块，所述交互信息模块采用；

所述交互意图推理模块根据手势语义和语言语义结合场景当前的交互情景来识别用户的交互意图，预测潜在的交互行为；

所述交互任务执行模块根据交互意图推理模块预测的交互动作，生成用户期望的实验动作，生成响应的实验效果，返回对应的操作反馈，最后，实验效果和反馈通过不同的通道输出给用户。

2.根据权利要求1所述的一种面向虚拟实验的多模态语义融合人机交互方法，其特征在于，所述交互信息集成模块将虚拟对象之间的交互行为与人与机器之间的交互行为建立映射关系，从而营造出具有交互行为信息的虚拟环境，以支持正在执行中的用户交互意图推理和对象交互行为执行。

3.一种面向虚拟实验的多模态语义融合人机交互方法，采用权利要求1或2所述的一种面向虚拟实验的多模态语义融合人机交互系统，其特征在于，采用所述多模态融合模型获取用户语义包括以下步骤，

a.获取手势语义：

确定手势所指的主动对象(GA)：当虚拟手抓着或操纵着其他虚拟物体时主动对象转换为被操纵的物体,

在虚拟环境中用户想要去操作某个虚拟物体的概率GP_i可以用下面的公式表示：

其中θ_i是主动对象运动方向与主动对象与第i个虚拟物体之间向量的夹角，d_i为主动对象与第i个虚拟物体之间距离，主动对象与其他虚拟物体之间的关系，最终GP_i表示的就是主动对象想要操作第i个虚拟物体的概率；

b.获取语音语义：

获取用户语音输入后基于word2vector模型计算分割部分与虚拟实验场景中每个主动对象、被动对象和交互动作的相似度：VA_i，VP_i，VI_i，

c.语义融合：

虚拟实验场景中存在m个主动对象，将每一帧的手势主动对象进行独热编码，每一帧的手势主动对象都用一个m维向量表示，t时刻手势和语音之间的相关性λ以及手势所指的主动对象GA用下面的式子表示：

GA＝λ·M (5)

其中μ＝0，δ²＝10，t的取值范围为(-31,30)，λ是一个1x60的矩阵保存每一帧手势与语音之间的相关度，M为60xm维矩阵记录的是60帧的手势输入的独热编码，GA中每一维的数值表示着手势语义所指虚拟场景中第i个主动对象的概率GAi，i＝1,2,3...m，被动对象GP以及交互动作GI可以通过相同的原理得到，融合后的用户语义分别可以通过下面的式子确定：

GA＝max(GA_i) i＝1,2,...,m (6)

P＝max(GP_i+VP_i) i＝1,2,...,m (7)

I＝max(GI_i+VI_i) i＝1,2,...,m (8)

其中GA，P，I，分别表示融合后用户所指的主动对象、被动对象和交互动作即为融合后的交互语义。

4.根据权利要求3所述的一种面向虚拟实验的多模态语义融合人机交互方法，其特征在于，所述交互意图推理模块在交互管理过程采用有限状态自动机，通过确定主动对象、别动对象和交互动作最终执行交互任务。