[发明专利]基于眼动注视点引导的图像识别方法、MR眼镜及介质

说明书

本发明属于图像识别技术领域，公开了一种基于眼动注视点引导的图像识别方法、MR眼镜及介质，进行红外和彩色摄像头混合获取图像；IR相机和RGB相机混合获取实景图像，IR相机和RGB相机混合获取实景图像；低分辨率和高分辨率摄像头混合获取实景图像并识别；在物理相机和虚拟相机混合获取获取真实/虚拟目标的图像并识别；通过检测用户的行为和生理数据计算兴趣程度，进而启动摄像头获取外景图像并识别；本发明还进行在物理相机和虚拟相机混合获取获取真实/虚拟目标的图像中，通过检测用户的行为和生理数据计算兴趣程度启动摄像头，再通过注视点的位置和/或深度来选择使用物理相机或虚拟相机获取图像并识别。

技术领域

本发明属于图像识别技术领域，尤其涉及一种基于眼动注视点引导的图像识别方法、MR眼镜及介质。

背景技术

目前，随着近几年AR/VR产业的高速发展，我们关注到AR智能眼镜可能会是淘汰智能手机的下一 代智能终端，那么AR智能眼镜上的app就如同智能手机上在刚兴起时的状态，存在着巨大的市场价值。 我们了解到眼动追踪技术是未来AR智能眼镜的重要人机交互方式，我们立足这样的环境进行思考未来应 用可能存在潜在需求，在未来爆发巨大的市场价值。

AR/MR/XR眼镜存在隐私安全风险，在当前现有MR/AR/VR智能眼镜的广告/内容的推荐技术中都 需要前置摄像头获取并分析用户当前周围环境，进而推送与场景相关的广告内容，在这个技术环节中需要 无时无刻启动前置摄像头，其中无时无刻记录数据的摄像头会在不经意间侵害其他人的隐私，隐私问题在 未来会成为“AR广告推荐系统”商业化的头号敌人。不仅如此始终启动摄像头对MR眼镜的电池续航能 力也带来不小的挑战，降低MR眼镜整体体验。

目前，国际专利涌现大量通过眼动追踪技术获取用户在物理世界的注视点坐标，并对注视区域图像 进行图像识别。例如《一种基于AR智能眼镜的局部图像识别方法》CN109086726，《ENABLING AUGMENTNED REALITY USING EYE GAZE TRACKING》高通US20200033943，《MEASUREMENT METHOD AND SYSTEM》谷歌US10598929等公开了通过MR/AR眼镜的眼动追踪装置对注视区域图像 识别，根据识别内容推送广告、数字信息、应用程序等。但是上述的这些方法存在：1.隐私安全风险。2. 程序功耗大。3.无法辨别用户眼睛对注视物体的真实意图。4.无法精准的框选感兴趣的目标物体。

同时，在具体的应用服务中需要全程开启彩色前置摄像头，这可能会拍摄和存储下其他人的影像， 这存在对其他人隐私权和个人肖像权的侵害，并且这类MR眼镜应用造成隐私安全会给公众造成抵触情绪。 例如国外一些公众场所(例如超市、商场等)曾禁止佩戴MR/AR眼镜。

通常MR/AR眼镜为了能够使用一些应用(例如光学显示)，三维信息感知功能是需要始终启动的， 那么再启动上述物体检测功能时，还需要启动彩色摄像头用于获取图像，这就相当于同时启动彩色和红外 两种摄像头，这会造成巨大的AR/MR眼镜功耗，同时AR/MR眼镜系统/应用运行卡顿，进一步造成MR/AR 眼镜体验差。