[发明专利]MR智能眼镜内容交互、信息输入、应用推荐技术的方法

权利要求书

1.一种基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，所述基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法包括：

步骤一，根据用户的眼动行为或脑电判断用户精神状态，判断用户精神状态是否处于非精神游离状态或精神游离状态，是否将注意力集中在视觉前方，并获取视觉注视点区域局部图像；

步骤二，对获取的图像内容进行人工智能图像识别分析、图像分割处理、识别、比对、理解，并根据内容进行功能分类，根据内容类别开启相应程序或者提供相应的服务、以及弹出一种或几种相关应用的通知；

步骤三，根据图像识别、理解结果，智能眼镜的推荐系统智能对相关应用、相关服务、相关信息的通知图标进行优先度排序；将大脑传送至面部和声带的肌肉神经信号识别为语言文字计算机指令，然后对智能眼镜中内容进行交互控制；

步骤四，根据采集到的面部肌肉指令信息与注视点位置的图像信息来判断用户的需求属性；如果是信息则在数据库检索答案，并将检索到的答案呈现在光学近显示器上；如果是应用则打开相关应用呈现在光学近眼显示器上；

步骤一中，所述判断用户是否处于精神游离状态，是否将注意力集中在视觉前方采用实时检测瞳孔直径变化状态，判断用户注意状态；

判断用户注意状态中，对瞳孔的实时跟踪检测、对用户脑电波实时检测；

注意状态包括注意准备阶段、注意处理阶段、注意保持阶段、注意解除阶段；

判断用户是否处于注意保持阶段，若非注意保持阶段，则设备不进行任何操作，若为注意保持阶段则进行下一步操作；

当用户处于注意保持阶段，则触发眼动追踪模块获取人眼注视点方向与坐标；

当用户处于注意保持阶段，则触发图像识别模块获取人眼当前注视物体；

步骤三中，所述根据图像识别、理解结果，智能眼镜的推荐系统智能地对相关应用、相关服务、相关信息的通知图标进行优先度排序，应用、服务、信息与通知图标为相关联关系，应用通知的图标标注在真实目标轮廓线外围，优先度排序根据用户情绪波动状态和真实目标本身的全息内容；

将大脑传送至面部和声带的肌肉神经信号识别为语言文字，并将指令传入AR眼镜系统，与所述全息目标进行交互控制，实现用户需求和指令的输入，即相关应用、相关服务、相关信息的选择。

2.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤一中，处于非精神游离状态，则通过智能眼镜已有的眼动追踪模块获取用户此时的视觉注视点，并计算映射到真实三维世界和AR眼镜成像屏幕，实时判断用户注视点是否为真实世界物体还是智能眼镜所呈现的三维全息影像，智能眼镜通过双目视觉深度摄像头计算获得世界三维坐标；若处于精神游离状态则不进行任何操作；眼动坐标具体包括：人眼的注视点和眼球运动坐标向量并将人眼注视点映射在真实三维世界的和成像屏幕坐标。

3.如权利要求1所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，步骤一中，所述获取视觉注视点区域局部图像；如果用户注视智能眼镜所呈现的全息影像，则智能眼镜计算机系统内部进行截图指令或者直接与全息内容产生信息交互；如果用户注视现实场景中的真实对象，则截取注视点区域的真实场景图像；将获取的图像发送至图像识别模块进行处理。

4.如权利要求3所述的基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法，其特征在于，所述获取局部图像条件进一步包括：设备检测到用户注视同一物体超过一定时长；设备检测到用户视觉追踪物体，眼球持续移动了一段距离；设备检测到用户注视同一物体超过一定次数；设备检测到用户注视同一物体时瞳孔直径发生变化；设备检测到用户注视同一物体时生物电产生非一般信号；外部功能硬件设备给予的预设关联指令。