[发明专利]一种基于智能手套的实验场景感知交互方法

说明书

本发明提供了一种基于智能手套的实验场景感知交互方法，本发明通过智能手套对实验场景中的物体信息以及相应的位置关系进行实时感知，学生佩戴智能手套能够操作真实的实验用具，配合虚拟的实验平台进行实验，从而提升学生的实验沉浸感。在场景感知的基础上，本发明还提出了一种融合了语音，视觉，传感器信息的智能导航式交互范式去推测用户的实验意图，结合用户的行为对用户实验的规范性进行监控，并给予用户对应的操作反馈与指导。

技术领域

本发明涉及机器人技术领域，特别是一种基于智能手套的实验场景感知交互方法。

背景技术

实验教学作为中学教学过程中的重要组成部分，使学生更好理解实验知识的同时，还能够培养学生的动手能力。然而。现有的中小学实验教学过程中主要存在以下几方面的问题，首先部分实验用品存在危险性，例如氢氧化钠溶液具有强烈腐蚀性，倘若学生操作不规范，将威胁到学生的安全；其次在实验课堂上老师难以观察到全部学生的实验情况，部分学生在实验过程中容易出现不规范的实验行为。随着互联网技术的发展，虚拟实验平台很好的解决了实验用品具有危险性的问题。然而现有虚拟实验平台存在三个方面的问题，一方面部分虚拟实验平台倾向于使用动画或者仿真软件对实验过程进行呈现，用户使用鼠标或者键盘等操作虚拟物品，缺乏对真实实验用具的操作，不利于提升学生动手能力；另一方面，传统的虚拟实验平台缺乏对真实实验场景的感知，无法更好的对用户的实验操作进行监控；第三个方面，大部分实验平台在实验过程中设定好了实验规则，用户无法进行探索性实验。

发明内容

本发明的目的是提供一种基于智能手套的实验场景感知交互方法，旨在解决现有技术中虚拟实验平台缺乏对真实实验场景感知的问题，实现提升实验沉浸感。

为达到上述技术目的，本发明提供了一种基于智能手套的实验场景感知交互方法，所述方法包括以下操作：

S1、在智能手套上安装视觉图像捕获设备，通过智能手套采集实验物品图像数据，并根据采集到的图片进行模型训练，得到实验物品检测模型；

S2、通过ORB-SLAM算法获得智能手套的移动轨迹，并基于智能手套进行场景感知，在虚拟场景中构建目标物体模型；

S3、通过基于贝叶斯推断的用户意图理解算法对智能手套的语音信息、传感器信息以及图像信息进行整合，动态推断用户意图；

S4、获取到实验意图后，通过基于场景感知的导航式交互算法判别用户行为，并对用户的实验行为输出相应的语音反馈，完成实验操作。

优选地，所述智能手套的手掌部分通过使用Flex传感器获取用户手指弯曲度的变化，通过Mpu6050姿态传感器还原用户手部的姿态，树莓派开发板用于根据用户的行为对用户的实验场景进行实时的感知和理解；手腕部分设置包围盒，在包围盒中固定微型的双目摄像头，捕捉用户实验时周围环境的图像序列。

优选地，所述智能手套基于YOLOv3网络模型进行实验物品的检测，将采集到的图片，使用Label Img标注工具进行标注，并将标注信息作为训练样本送入YOLOv3网络模型中进行训练并得到基于YOLOv3的实验物品检测模型。

优选地，所述智能手套的移动轨迹的坐标值计算公式如下：

P(x，y，z)＝(p₀.x+p[i].x，p₀.y+p[i].y，p₀.z+p[i].z)

其中，p₀(x，y，z)为虚拟手初始坐标位置，p[i]为位置循环队列。

优选地，所述基于智能手套进行场景感知具体过程如下：

输入为双目相机捕获的实验场景图像p，输出为智能手套自身位置信息集合Oh，目标物体信息集合0，智能手套与目标物体的距离d；

S201、获取实验场景图像p；