[发明专利]一种基于意图理解模型的导航式虚拟显微镜

说明书

本发明提出了一种基于意图理解模型的导航式虚拟显微镜，包括多模态输入与感知模块、多模态信息整合模块和交互应用模块；多模态输入与感知模块用于通过传声器获得用户的语音信息，以及获得用户的操作行为；多模态信息整合模块用于将语音信息通过视觉通道信息处理和将操作行为通过触觉通道信息处理，然后将处理后的语音信息和操作行为通过多通道信息整合，完成显微镜和用户之间的交互。本发明通过多模态信息获取和整合，利用简单的传感元件，加入了多种模态的信号输入和智能化感应技术，在保证数字显微镜优点的基础上，让广大普通和贫困中学学生也能有条件进行显微镜的学习，增加对微观世界的认知感受，和体验智能显微镜。

技术领域

本发明属于智能显微镜设计的技术领域，特别涉及一种基于意图理解模型的导航式虚拟显微镜。

背景技术

显微镜的使用，是中学生物科学学习的一个重点内容，也是考试过程中，学生经常犯错的内容，在学习过程中，掌握好显微镜的使用规则，对学好理论知识和对微观世界的探究都大有裨益。然而，中学经常使用的和教材介绍的显微镜，都是十分传统的单目显微镜，学生在使用显微镜过程中，常常会因为调节焦距和合适的亮度花费大量的时间，而且成像效果不好，一堂实验课下来，学生情绪往往从初始的兴奋转为疲惫不堪。传统的教学实验课，一般是老师在讲台演示，学生在下面观察，即使学生操作过程比较规范，也有可能得不到好的结果，教师往往奔走在不同学生之间，导致师生之间交流不够有效，导致学生感性层面上认知生物会有偏差。因此，如何使学生正确观察实际的生物结构和现象变得尤为重要。更局限的是，每一个显微镜同一时间只能是一人观察，老师想要看到学生的实验结果，就必须逐一检查学生显微镜下的像，不同学生之间也无法达到共享实验结果的目的，因此，若能将成功的实验结果和错误的案例结果展示给学生和教师，对学生的学习和和激励引导都会产良好的引导作用，同时也为老师评估学生的实验情况带来极大的便利。

目前正在普及的是数字显微镜。所谓数字显微镜，就是能与电脑连接的，将在显微镜视野内观察到的结构或现象通过软件显示在电脑的显示屏上，使得观察到的结构或现象更加清晰，而且可以让多人同时观看。数字显微镜有以下优点:第一，物像呈现在电脑显示屏上，降低寻找物像难度；第二，教师可实时监控学生电脑显示屏，迅速判断学生操作问题，及时进行调整；第三，如果学生实验失败，教师可以电脑共享其他小组成功的物像截图，督促学生分析失败的原因。利用数字显微镜，可以使实验的评价过程简化，可行性提高，覆盖面扩大。但是，数字显微镜的造价还是比较昂贵的，最普通的显微镜价格要在2000元左右，对于一般的或者较贫困的中学来说，大量购买显微镜设备成为困难。

发明内容

本发明提出了一种基于意图理解模型的导航式虚拟显微镜，让广大普通和贫困中学学生也能有条件进行显微镜的学习，增加对微观世界的认知感受，和体验智能显微镜。

为了实现上述目的，本发明提出的一种基于意图理解模型的导航式虚拟显微镜，包括多模态输入与感知模块、多模态信息整合模块和交互应用模块；

所述多模态输入与感知模块用于通过传声器获得用户的语音信息，以及获得用户的操作行为；所述操作行为包括通过转动传感器获得用户调节显微镜粗细准焦螺旋的方向和通过图像采集设备识别待观察样本以及检测待观察样本运动的图像信息；

所述多模态信息整合模块用于将语音信息通过视觉通道信息处理和将操作行为通过触觉通道信息处理，然后将处理后的语音信息和操作行为通过多通道信息整合，完成显微镜和用户之间的交互；

所述交互应用模块通过视觉显示和听觉指引完成对用户意图进行预测以及给出操作引导。

进一步的，所述通过图像采集设备识别待观察样本的方法为，载玻片的上表面设置有表示所述待观察样本的二维码图片，图像采集设备识别不同的二维码，进而从数据库中调取样本图像。