[发明专利]一种基于多模态数据进行视觉定位的盲人辅助眼镜

摘要

本发明公开了一种基于多模态数据进行视觉定位的盲人辅助眼镜。主要是利用GNSS、相机采集的多模态数据，利用小型处理器对采集的数据进行处理，输出定位结果。该眼镜能够进行白天、黑夜等不同光照条件下的定位，该方法误检率低、漏检率低、实时性好、跨平台性好。可以很好地满足视障人士的精确定位的应用要求。

主权项

1.一种基于多模态数据进行视觉定位的盲人辅助眼镜，其特征在于，包括眼镜本体，嵌入式安装在其中一个镜腿内的GNSS定位模块，嵌入式安装在另外一个镜腿内的小型处理器和电池模块，固定在镜框上方的一个彩色‑红外‑深度相机，以及设置在镜腿尾部的耳机；所述小型处理器中存储有包含多个位置信息的位置P‑特征数据W库；相机、GNSS模块、骨传导耳机分别与小型处理器相连，电池模块与小型处理器相连，彩色‑红外‑深度相机实时地采集周围场景的彩色‑深度‑红外图像，GNSS定位模块实时地采集经纬度信息，小型处理器对获取的彩色‑红外‑深度图像和经纬度信息进行处理，小型处理器通过将多模态数据转化为定位结果后，将结果转化为声音信号，通过耳机告知用户。其中，位置P‑特征数据W库具体为：特征数据W包括对应于位置P的经度数据Lon、纬度数据Lat以及GIST、LDB、BoW三种特征，GIST、LDB、BoW三种特征从图像信息中提取得到，所述图像信息为在位置P处采集的彩色图像Color、深度图像Depth和红外图像IR，提取方法为：从Color中提取GIST特征；从Color、Depth和IR中分别提取LDB特征，并将三个LDB特征拼接为一个LDB特征；从Color中提取BoW特征。