[发明专利]一种面向虚实融合的闯关交互式实验方法和系统

权利要求书

1.一种面向虚实融合的闯关交互式实验方法，其特征在于，包括以下步骤：

获取与实验操作相关的用户意图集合，根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据所述用户操作意图出现的时间确定在某时刻的用户意图；所述与实验操作相关的用户意图集合包括基于视觉的手势动作意图集合、基于听觉的语音意图集合、基于触觉的传感器信息集合和场景集合；

所述手势动作意图集合H^k＝{H₁,H₂,...,H_n}；所述语音意图集合S^k＝{S₁,S₂,...,S_n}；所述传感器信息集合T^k＝{T₁,T₂,...,T_n}；所述场景集合E^k＝{E_t1,E_t2,...,E_tn}；

其中ti为不同时刻的场景信息；所述k为约束参数,k＝a或b，a为语音意图的权重，b为传感器意图的权重；

所述根据所述用户意图集合的不同模态表达方式确定在一段时间内用户意图的表达式为：

其中，为一段时间内用户意图；S^A为a或b并集计算为a时的语音集合；T^B为a或b并集计算为b时的传感器集合；H_i∈H^k；E_i∈E^k；

所述根据所述用户操作意图出现的时间确定在某时刻的用户意图的方法为：

根据实验步骤和时间节点设置意图时间序列集合V＝{V_t1,V_t2,...V_tn}；其中V_t1至V_tn是根据实验步骤和意图出现的时机设置的意图时序序列，V_ti为一个m维的向量，表示当前出现的用户意图；

根据V＝{V_t1,V_t2,...V_tn}，结合可得到在某时刻的用户意图为U_ti＝[0,0,...,0,U_a,0,...,0,U_b,0,...,0,U_c,0,...,0]·V_ti^T；

通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。

2.根据权利要求1所述的一种面向虚实融合的闯关交互式实验方法，其特征在于，所述智能化虚实融合实验仪器包括烧杯、分液漏斗、搅拌棒、胶头滴管和称量台；

所述烧杯的底部中心点设置加速度传感器，或者在杯体的外壁设置若干触觉传感器；所述加速度传感器用来获取烧杯的倾倒角度；所述烧杯的三维角度表示为A₁＝(x,y,z)；所述触觉传感器用于标识用户对实验试剂的选择操作；其中，x，y，z分别是x轴，y轴，z轴旋转的角度；

所述分液漏斗的活；塞设置为转动传感器，顶部设置光敏传感器；所述转动传感器获取流速的离散数值，通过离散数值的变化量化液体的释放；所述光敏传感器用于确定分液漏斗是否添加液体；

所述搅拌棒的一端设置加速度传感器，用来获取搅拌速度；所述搅拌速度的表达式为其中g_x，g_y，g_z分别是x轴，y轴和z轴的运动的角速度；

所述胶头滴管的胶头处设置压力传感器；用来获取胶头滴管滴液的速率；

所述称量台的台面中间层设置压力传感器；用来获取待测量物体的重量。

3.根据权利要求2所述的一种面向虚实融合的闯关交互式实验方法，其特征在于，所述智能化虚实融合实验仪器通过杜邦线连接至STM32开发板；所述STM32开发板通过串口连接至电脑上位机。