[发明专利]MR智能眼镜内容交互、信息输入、应用推荐技术的方法

说明书

本发明属于近眼显示设备应用交互技术领域，公开了一种MR智能眼镜内容交互、信息输入、应用推荐技术的方法，判断用户是否处于精神游离状态；获取局部图像；根据图像分割处理结果为用户提供确认选择的视觉反馈；根据图像处理、理解的结果，推荐系统对应用通知图标进行相关度排序；将声带肌肉神经信号识别为语言文字，并将指令传入MR眼镜系统。本发明弥补了纯眼动和脑电波(脑机接口)交互的缺陷，对智能眼镜和交互技术的发展有着重要的意义，弥补国内外本领域的技术不足；本发明通过识别用户对任何事物产生的疑惑感觉并通过图像识别进行信息反馈解答用户疑惑的近眼显示设备，能够帮助用户更便捷地认识信息，了解信息和解答信息。

技术领域

本发明属于计算机技术领域，尤其涉及一种MR智能眼镜内容交互、信息输入、应用推荐技术的方法。具体涉及一种基于视线追踪和脑机接口的MR智能眼镜信息交互、应用推荐、AI助理的技术的方法、信息输入系统、具有皮肤表面捕捉语言神经肌肉信号捕获功能的HMD设备、近眼显示设备、可穿戴的交互界面、全新的应用入口。

背景技术

目前，业内常用的现有技术是这样的：全息影像的解释：全息影像是指在机器(近眼显示设备、智能眼镜)生成的虚拟对象通过智能眼镜的光学显示器看到的虚拟影像。交互式世界包含真实内容(与物理环境中的真实对象相关联) 和虚拟内容的任何组合，在最普遍的意义上，修改现实技术可以产生这样一个互动的世界。

AR技术和MR技术提供了交互式世界，其包括作为基础的物理环境的展示，其中添加了任何类型的虚拟对象。虚拟对象可以包括文本，图标，视频，图形用户界面演示，静态场景元素，动画角色等。VR技术提供完全由虚拟内容组成的交互式世界。

近眼显示设备是一款集成眼动追踪技术、脑电波感应技术、图像识别技术与近眼光学成像等技术的智能设备，未来它能够代替手机成为新一代智能计算终端设备。它可以帮助人们在日常生活中便利地解决许多问题，它将成为人们离不开的智能工具。

在生活中，人们70％通过眼睛获取外界的信息，无时无刻都有着认知需求，例如这个东西是什么？这个产品怎么使用？这个产品效果怎么样？这个食物好不好吃？这是什么汽车品牌、什么性能？这么店铺的评价是什么？目前的现有技术以图搜图的图像识别技术(淘宝的拍立淘)已经可以实现对兴趣图片进行识别分析获取到相关的产品信息(例如产品价格、销量、评论等)，但是基于未来的智能眼镜在人眼前呈现这些大量的信息内容会造成较差的体验、以及过高的认知负荷和安全风险。体验差体现在目前的智能眼镜视场角很小，不能一起显示过多的信息，并且使人们在对关键信息进行视觉搜索时造成不必要的干扰信息；安全风险体现在过量的信息呈现会阻挡人的视线，造成人在行走过程中的安全隐患。因此智能眼镜不建议一次呈现过多信息。

当人们注视着眼前的事物时，单从眼球行为一个维度分析不能够确定用户是对这个物体感兴趣还是诱惑，甚至是目前的脑机接口技术，眼动追踪和脑机接口两个技术在单独使用的情况下都无法获得更加详细的心理活动状态，在没有用户输入详细信息的条件下，计算机无法得知用户具体的需求。例如，当人注视着一个食品产品时，计算机不知道用户是想获取食品的价格、还是加工原材料、还是网友评价、还是所含热量等信息。

目前AR/VR智能眼镜的交互技术有手势识别、语音识别、眼动追踪、脑机接口、控制手柄这几种交互技术，其中眼动追踪是其使用过程中最重要的交互方式之一。当然眼动追踪交互方式具有移动选择快、隐私性强、消耗体力少、方便快捷等无可取代的优势。当通过注视目标一定时长、双目眨眼、单目眨眼、眼球运动方向(眼球往上看、往左右看等)等一系列的眼睛行为与近眼显示设备或者显示器中所呈现的虚拟影像进行交互时(交互包括选择确认、点击、翻页滑动、属性弹出等，包括但不限于上述交互行为)需要人在主观意识层面上付出巨大的认知和精力去协调眼睛对近眼显示设备界面的交互。以上的交互方式不像是在使用鼠标在点击左右键的时候，人的主观意识不需要过多的参与到操作中来，而目前的眼动交互行为，例如眼睛眨眼“点击确定”需要人付出人的一定主观精力，并且影响视线，因此单纯的眼动追踪交互方式不是一个好的人机交互方式。