[发明专利]一种面向虚实融合的闯关交互式实验方法和系统

说明书

本发明提出了一种面向虚实融合的闯关交互式实验方法和系统，该方法首先获取与实验操作相关的用户意图集合，根据用户意图集合的不同模态表达方式确定在一段时间内用户意图；根据用户操作意图出现的时间确定在某时刻的用户意图。通过在某时刻的用户意图对智能化虚实融合实验仪器的操作进行实验，在实验中设计与实验内容相应的关卡，并根据用户对关卡的不同选择进行不同实验步骤或者呈现不同实验效果。基于该实验方法，还提出了闯关交互式实验系统。本发明基于多通道信息互补的意图理解算法根据上下文交互情境，根据视觉数据、传感数据和语音数据，推测用户下一步的基本操作，通过闯关的方式有利于增加在实验过程中的乐趣，巩固和实验相关的知识。

技术领域

本发明属于化学实验教学技术领域，特别涉及一种面向虚实融合的闯关交互式实验方法和系统。

背景技术

化学是一门以实验为基础的自然科学，它主要研究物质的组成、结构、性质和变化规律。化学实验是获取化学知识的重要方式，能够帮助学生快速地记忆和理解化学知识。调研并分析现有的中学化学实验的展开形式，我们发现化学教学实验中存在以下几点问题。对于传统化学实验教学(即真实展开的化学实验教学)，首先在实验进行过程中，容易生成污染性、有毒物质，同时化学实验中还存在一些实验的试验周期过长、数据不易获得、实验器材损耗严重和实验材料昂贵等问题，这些因素会影响学生实验活动的正常展开。其次，对于我国教育资源分布不均衡的现象，教师为了完成教学安排，或者在实验材料不充分的制约下，在短时间内向学生灌输大量的知识点而不进行实验操作演示，学生很难有机会动手实践，只能从教师的讲解和书本呈现的知识凭空想象实验反应现象。随着教育信息化的发展，其它形式的化学实验也被引入的中学实验之中，但是也无可避免的带来其它存一些问题，如以虚拟仿真技术为基础的电脑仿真化学实验，虽然很好的降低了实验的风险，节省了实验材料和资源，但也使学生无法真实体会到实验操作的过程，同时不利于培养学生的动手操作能力。以VR技术为支持的化学实验，可以带来很好的用户体验和视觉感受，但实验设备要求和操作过程往往带来不便。同时，AR技术也逐渐在中学实验教学展开，但是目前来说，主要的相关研究比较少，成型的化学实验教学尚未出现。因此，我们想在有限的条件资源下，充分挖掘学生教师这些用户的特点，设计虚拟与实际相融合的实验操作方式，，一方面更加真实，客观的反映实验现象，使用户获得更真实的实验操作和体验感；另一方面，整合用户的多通道有效信息，弥补传统实验，虚拟仿真实验等实验的不足，探究新型实验的有效性和可行性。目的是，即达到新型中学教学实验的要求，又能激发学生的学习乐趣和提升自主实验探究的能力。