[发明专利]一种基于智能手套的实验场景感知交互方法

权利要求书

1.一种基于智能手套的实验场景感知交互方法，其特征在于，所述方法包括以下操作：

S1、在智能手套上安装视觉图像捕获设备，通过智能手套采集实验物品图像数据，并根据采集到的图片进行模型训练，得到实验物品检测模型；

S2、通过ORB-SLAM算法获得智能手套的移动轨迹，并基于智能手套进行场景感知，在虚拟场景中构建目标物体模型；

所述基于智能手套进行场景感知具体过程如下：

输入为双目相机捕获的实验场景图像p，输出为智能手套自身位置信息集合Oh，目标物体信息集合O，智能手套与目标物体的距离d；

S201、获取实验场景图像p；

S202、使用ORB-SLAM算法获取当前智能手套位置信息Oh(x_h,y_h,z_h)并输出Oh到Unity平台，使用TSS算法对Oh进行处理；

S203、调用目标检测模型FC，对p进行实验物品检测，并将检测结果存入Omap；

S204、若Omap为空，则返回步骤S201；若Omap不为空，则调用双目相机定位算法BinP获取目标物体三维坐标Ow(x,y,z)；

S205、判断当前用户操作物体集合Oh是否为空；若Oh为空，则执行步骤S206；若Oh不为空，执行步骤S207；

S206、对Oh与Ow不断执行以下操作，获取两者之间的距离d；

若d满足为判定智能手套是否进入可操作范围的阈值，则在虚拟场景中显示对应的目标物体模型，并从实验用品信息库E中查询Ow所对应的实验用品的尺寸信息，对Oh进行修改，将Ow所对应的实验用品名称与修改后的Oh存入Oh，令O＝Oh,输出O；

S207、将Ow(x,y,z)以及对应的实验物品类别存入O；

S208、对Oh与O的坐标信息不断执行以下操作，获取两者之间的距离d：

若d满足d≤ξ，ξ为判定目标物体是否可操作性的阈值,则在虚拟场景中显示对应的目标物体模型，并输出O，d；

S3、通过基于贝叶斯推断的用户意图理解算法对智能手套的语音信息、传感器信息以及图像信息进行整合，动态推断用户意图；

S4、获取到实验意图后，通过基于场景感知的导航式交互算法判别用户行为，并对用户的实验行为输出相应的语音反馈，完成实验操作。

2.根据权利要求1所述的一种基于智能手套的实验场景感知交互方法，其特征在于，所述智能手套的手掌部分通过使用Flex传感器获取用户手指弯曲度的变化，通过Mpu6050姿态传感器还原用户手部的姿态，树莓派开发板用于根据用户的行为对用户的实验场景进行实时的感知和理解；手腕部分设置包围盒，在包围盒中固定微型的双目摄像头，捕捉用户实验时周围环境的图像序列。

3.根据权利要求1所述的一种基于智能手套的实验场景感知交互方法，其特征在于，所述智能手套基于YOLOv3网络模型进行实验物品的检测，将采集到的图片，使用Label Img标注工具进行标注，并将标注信息作为训练样本送入YOLOv3网络模型中进行训练并得到基于YOLOv3的实验物品检测模型。

4.根据权利要求1所述的一种基于智能手套的实验场景感知交互方法，其特征在于，所述智能手套的移动轨迹的坐标值计算公式如下：

P(x,y,z)＝(p₀.x+p[i].x,p₀.y+p[i].y,p₀.z+p[i].z)

其中，p₀(x，y，z)为虚拟手初始坐标位置，p[i]为位置循环队列。

5.根据权利要求1所述的一种基于智能手套的实验场景感知交互方法，其特征在于，所述基于场景感知的导航式交互算法具体为：

S301、获取来自各个通道的信息，并进行预处理；

S302、对S进行语义提取，获取当前用户手部状态集合B；

S303、调用IGSPA算法对p进行处理，获取智能手套自身位置信息集合Oh，目标物体信息集合O，智能手套与目标物体的距离d；

S304、将Oh传入unity平台，并调用TSS算法进行移动轨迹映射；

S305、整合B，O，d，获取当前用户行为O_i，输出场景响应集合a{a₀,a₁,a₂,...a_n}；

S306、判别V是否为空，若不为空则调用百度API对V进行分析，获取操作对象Ta；

S307、判别O中的目标物体名称与Ta是否一致，若一致，则将O_i存入实验行为集合δ；否则输出语音提示Y1，询问用户是否继续手部操作；

S308、若用户确认手部行为，则将O_i存入实验行为集合δ；否则，保留Ta，返回步骤S301；

S309、结合实验目标集合I＝{I₁,I₂,I₃,....I_n}，使用公式(7)对δ进行贝叶斯推断，获取计算结果P(I_n|δ)；

S310、令P(I_k|δ)＝max(P(I_n|δ))，判别P(I_k|δ)是否大于意图确定阈值Θ；

S311、若P(I_k|δ)＞Θ，则认定用户当前最可能的实验目标为I_k，并向用户输出语音提示Y2，向用户确认实验意图是否正确；

S312、若用户认为I_k错误，则输出语音提示Y3，返回步骤S301，并更新实验目标集合I＝{I₁,I₂,I₃,....I_n}；

S313、若用户确认实验意图为I_k，则令实验意图I＝I_k，从知识库中查询I所对应的规则集合R{r₁,r₂,r₃..r_n}，并按照R{r₁,r₂,r₃..r_n}中所对应的规则判别用户行为，直至实验结束；

S314、若O_i不符合r_i，则使用语音向用户提示，当前操作错误，并提示正确步骤。