[发明专利]一种基于AR智能眼镜的局部图像识别方法及系统

摘要

本发明属于AR智能眼镜应用技术领域，公开了一种基于AR智能眼镜的局部图像识别方法及系统,对智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境的视域画面的一致性校准标定；识别人眼图像并计算眼球运动向量，获取眼动坐标；识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间；获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置。本发明通过眼动仪获取人眼眼图信息，并进行人眼眼图与场景摄像头的同步标定，获取人眼在真实场景的注视点区域，在进行处理时，仅对注视点区域进行图像识别，大大降低了GPU的图像处理压力，提高图像处理效率。

主权项

1.一种基于AR智能眼镜的局部图像识别方法，其特征在于，所述基于AR智能眼镜的局部图像识别方法包括：/n步骤一、所述局部图像识别方法首先需要对智能眼镜成像屏幕、智能眼镜前置摄像头画面、周围真实环境中的人眼视域画面的一致性校准标定；所述一致性校准标定包括对AR眼镜摄像头进行图像畸变校正和标定，通过所述的图像畸变校正和标定得到真实世界坐标与AR眼镜成像屏幕和智能眼镜前置摄像头画面三者之间的坐标的投影关系；/n步骤二、识别人眼图像并计算眼球运动向量，获取眼睛运动坐标；采用瞳孔-角膜反射光斑法或MEMS眼球追踪技术，将人眼的运动行为数字化，转化为计算机系统计算的电子信号；/n步骤三、识别人双眼视觉延长线焦点落点是成像屏幕还是现实三维空间；注视点是成像屏幕则不开启局部图像识别，不进行下一步，若注视点落点是真实世界则开启局部图像识别，进行下一步；/n步骤四、获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置；/n步骤五、过滤冗杂眼动行为；/n步骤六、启动局部图像识别程序；/n步骤七、截取人眼注视区域局部图像；/n步骤八、局部图像通过5G上传云端服务器处理，并对图像进行运算、语义分割处理、识别、比对，获得相关运算结果；/n步骤九、相关结果从云端通过5G回传智能眼镜终端进行内容呈现；/n步骤四中，获取人眼在周围真实世界的映射关系；根据内嵌映射算法分别获取人眼注视点在眼镜成像屏幕和前置摄像头画面的坐标位置,具体包括：/ni),通过人眼注视眼镜成像屏幕的标定点获得人眼运动坐标与成像屏幕的映射关系；/nii),由于人眼透过半透明成像屏幕看到的真实世界场景与看到的半透明屏幕上正在呈现前置摄像头拍到的虚拟场景影像无重影且保持一致；通过相似三角形原理，获取人眼在真实世界的视觉注视区域；/n步骤五中，过滤冗杂眼动行为包括：/nI)低通滤波，对原始视线信号进行滤波以获取可以使用的视线信号；/nII)T值自适应调节，实时监测当前的眼动模式，眼动角速度的计算、眼跳速度与阈值的比对，以及滤波参数的调节；/nIII)识别区域控制，主要控制识别区域移动；/n步骤六中，所述启动局部图像识别程序，获取到人类生物电并识别出用户兴趣点时启动图像局部图像识别程序，兴趣识别条件包括：/nA、对某一区域凝视时长超过阈值；/nB、对某一区域回视次数超过预设次数；/nC、对某一区域注视时眨眼次数或眨眼行为达到预设标准；/nD、对某一事物产生规律性视觉注意模型；/nE、同一时刻脑电波检测模块检测出用户对该视觉注视区域产生情绪波动；/nF、同一时刻心率、血压人体生物信息监测模块检测出用户情绪发生波动；/nG、同一时刻人眼对当下注视事物产生瞳孔放大或缩小的生理反应数据；/n步骤七中，截取人眼注视区域局部图像，具体为，以注视点为圆心的某一固定值为半径的圆形、以注视点为中心的某一固定值为边长的正方形或眼动路径所形成的不规则多边形；/n步骤八中，局部图像通过5G上传云端服务器进行云端识别，具体包括：图像特征点5G上传云端服务器做云端识别、语义分割运算、匹配、检索，获取相关信息内容；/n步骤九中，相关结果数据5G回传智能眼镜进行内容呈现，内容包括文字、图片、声音、视频、三维模型；/n步骤一中，一致性校准标定包括：/n步骤1)，/n根据AR眼镜内参，获取AR眼镜前置摄像头与AR眼镜成像屏幕的投影关系；/n根据所述AR眼镜前置摄像头与AR眼镜成像屏幕的投影关系，并利用相机的畸变参数对获取的真实世界坐标与AR眼镜成像屏幕和智能眼镜前置摄像头画面三者之间的投影关系进行调整，获取真实世界坐标与AR眼镜成像屏幕和智能眼镜前置摄像头画面三者之间的坐标的投影关系；/n步骤2)，/n依次给出位于世界坐标内的多个校准点及多个校准点的坐标；/n分别捕捉注视所述多个校准点时的眼图，利用瞳孔-角膜反射光斑插值拟合算法或MEMS眼球追踪技术，得到眼图数据并生成注视点坐标到摄像头拍摄图像的映射函数；/n根据所述映射函数以及真实世界坐标与AR眼镜成像屏幕坐标和智能眼镜前置摄像头的投影关系，得到人眼在真实世界的注视点坐标到成像屏幕坐标的标定。/n