[发明专利]一种具有认知能力的多模态仿真实验容器及方法

权利要求书

1.一种具有认知能力的多模态仿真实验容器，其特征是，包括：仿真实验容器本体、触摸显示器、光敏传感器、单片机、声音传感器、智能终端，所述仿真实验容器本体入口边沿均匀设置有若干个光敏传感器，若干个所述光敏传感器用于通过判断遮挡光敏传感器的个数来确定此时用户正在进行的操作状态，所述触摸显示器设置于所述仿真实验容器本体容器外壁，所述单片机、声音传感器均设置于所述仿真实验容器本体容器内壁底部，所述单片机的第一输入端与触摸显示屏连接，第二输入端与光敏传感器的输出端连接，第三输入端与声音传感器的输出端连接，所述单片机的数据通信端通过无线传输与智能终端的数据通信端连接。

2.根据权利要求1所述的具有认知能力的多模态仿真实验容器，其特征是，所述触摸显示器包括功能设置按钮，用于设置实验条件以及使用的试验品。

3.一种具有认知能力的多模态仿真实验容器方法，其特征是，所述方法是基于权利要求1或2所述的具有认知能力的多模态仿真实验容器实现的，包括：

对用户操作行为进行提示；

通过传感器感知用户行为，并将用户行为与预先建立的用户行为库中行为意图中的第一标签进行比对，得到第一意图集；

通过对用户输入的语音提取关键词，并将关键词与预先建立的用户行为库中行为意图中的第二标签进行比对，得到第二意图集；

将第一意图集与第二意图集取交集运算，如果交集运算结果不为空集，模态融合成功，输出模态融合的第一结果，如果交集运算结果为空集，识别错误类型。

4.根据权利要求3所述的具有认知能力的多模态仿真实验容器方法，其特征是，还包括：

根据模态融合输出的第一结果，判断用户行为是否符合规范，如果符合规范，输出用户行为操作第二结果，并进行下一操作的提示；如果不符合，输出当前用户行为错误的提示以及对应的用户错误行为，并进行示错反馈。

5.根据权利要求4所述的具有认知能力的多模态仿真实验容器方法，其特征是，所述示错反馈具体为：通过提示用户此时正在进行的操作错误，说明错误操作后的第三结果并询问用户是否继续，如果用户继续当前操作，将输出按照用户当前的操作行为进行产生的第三结果，并解释产生第三结果的原理；如果用户不进行当前操作，则重新获取用户行为。

6.根据权利要求3所述的具有认知能力的多模态仿真实验容器方法，其特征是，所述通过传感器感知用户行为具体包括：

单片机通过检测光敏传感器被遮挡的数目，获取试验品的状态；

单片机通过声音传感器获取用户行为声音的持续时间t1和在该持续时间内的音频最大振幅f1，获取用户搅拌行为、搅拌速度。

7.根据权利要求6所述的具有认知能力的多模态仿真实验容器方法，其特征是，所述单片机通过检测光敏传感器被遮挡的数目，获取试验品的状态具体是：

单片机检测光敏传感器信号，获取光敏传感器被激活的个数M及编号i、j，计算此时被遮挡光敏传感器的个数d：

其中，N+1是容器模型上压感传感器的总个数，mod是求模运算算子，Max是求取最大值算子，||.||是绝对值算子符号。

8.根据权利要求6所述的具有认知能力的多模态仿真实验容器方法，其特征是，所述单片机通过声音传感器获取用户行为声音的持续时间t1和在该持续时间内的音频最大振幅f1，获取用户搅拌行为、搅拌速度具体是：

当用户在仿真实验容器中搅拌时，容器模型内壁的声音被声音传感器感知；获取声音的持续时间t1和在该持续时间内的音频最大振幅f1，

满足条件T1τ1且f1κ1，则用户正在发生搅拌行为，其中，τ1、κ1是经验参数,τ10,κ10；

计算速度v：

v＝βf1，

满足条件vv1，则速度v为搅拌速度，其中，v1为搅拌速度阈值，β、v1是经验参数，β0，v10。