[发明专利]一种基于多模态数据进行视觉定位的盲人辅助眼镜

说明书

本发明公开了一种基于多模态数据进行视觉定位的盲人辅助眼镜。主要是利用GNSS、相机采集的多模态数据，利用小型处理器对采集的数据进行处理，输出定位结果。该眼镜能够进行白天、黑夜等不同光照条件下的定位，该方法误检率低、漏检率低、实时性好、跨平台性好。可以很好地满足视障人士的精确定位的应用要求。

技术领域

本发明属于图像处理技术、信号处理技术、计算机视觉技术领域，涉及一种基于多模态数据进行视觉定位的盲人辅助眼镜。

背景技术

视觉信息是人类识别周围环境的最重要信息来源，人类获得的信息80％左右是从视觉系统输入的。根据世界卫生组织统计，全世界有2.85亿视觉障碍人士。视障人士损失了正常的视觉，对颜色、形状的理解很困难。现在，他们中的许多人使用白手杖或导盲犬协助自己的日常生活。白手杖不足以在旅行期间解决所有的困难。导盲犬可以引导视障人士以避免在道路上行走时的危险，但是因为训练导盲犬需要很大的成本，它们不能用于所有视觉障碍者。因此，手杖、导盲犬等传统工具无法为他们出行提供充分的协助。自从各种电子出行辅助(ETA)设备开发以来，已被视为一种辅助视障者在不同情况下出行的有效的方法。为了帮助用户找到通路，许多辅助系统部署深度相机来检测可及的路径和障碍。然而，在这些系统中，几乎没有集成精确定位系统检测。由于视力有限，视觉障碍者在室外出行时候，不能够准确定位。GNSS设备的定位精度通常为数米以至十几米以上。因此，对于视障者进行室外出行来说，实现关键位置的精确定位尤为重要。

许多工作致力于解决视觉定位问题。然而，大多数当前的解决方案应用于机器人或无人车辆的自动导航。自动导航中，相机相对于承载者是静止的，拍摄方向也很单一；盲人辅助应用截然不同，手持相机捕获的图像是不稳定的，相机可能拍摄任意的方向图像。因此，用于视觉障碍者的视觉定位方法必须足够健壮，以应对各种环境。作为对视障人士的辅助方法，视觉定位方法应该具有非常低的虚警率，这对于用户的安全是十分重要的。另外，实时性也是算法的一个要求。因为算法必须在便携式平台中实现，有限的系统资源需要有效的算法来维持适度的帧速率。

发明内容

本发明的目的在于针对现有技术的不足，提供一种基于多模态数据进行视觉定位的盲人辅助眼镜。

本发明的目的是通过以下技术方案实现的：一种基于多模态数据进行视觉定位的盲人辅助眼镜，包括眼镜本体，嵌入式安装在其中一个镜腿内的GNSS定位模块，嵌入式安装在另外一个镜腿内的小型处理器和电池模块，固定在镜框上方的一个彩色-红外-深度相机，以及设置在镜腿尾部的骨传导耳机；所述小型处理器中存储有包含多个位置信息的位置P-特征数据W库；相机、GNSS模块、骨传导耳机分别与小型处理器相连，电池模块与小型处理器相连，彩色-红外-深度相机实时地采集周围场景的彩色-深度-红外图像，GNSS定位模块实时地采集经纬度信息，小型处理器对获取的彩色-红外-深度图像和经纬度信息进行处理，小型处理器通过将多模态数据转化为定位结果后，将结果转化为声音信号，通过骨传导耳机告知用户。

其中，位置P-特征数据W库具体为：特征数据W包括对应于位置P的经度数据Lon、纬度数据Lat以及GIST、LDB、BoW三种特征，GIST、LDB、BoW三种特征从图像信息中提取得到，所述图像信息为在位置P处采集的彩色图像Color、深度图像Depth和红外图像IR，提取方法为：从Color中提取GIST特征；从Color、Depth和IR中分别提取LDB特征，并将三个LDB特征拼接为一个LDB特征；从Color中提取BoW特征。

进一步地，定位方法如下：

(1)在待定位处通过相机采集彩色图像Color’、深度图像Depth’和红外图像IR’；通过GNSS定位模块获取经度数据Lon’和纬度数据Lat’；从Color’中提取GIST特征；从Color’、Depth’和IR’中分别提取LDB特征，并将三个LDB特征拼接为一个LDB特征；从Color’中提取BoW特征；

(2)根据Lon’和Lat’筛选出近似位置P，满足：