[发明专利]一种基于多模态数据进行视觉定位的盲人辅助眼镜

权利要求书

1.一种基于多模态数据进行视觉定位的盲人辅助眼镜，其特征在于，包括眼镜本体，嵌入式安装在其中一个镜腿内的GNSS定位模块，嵌入式安装在另外一个镜腿内的小型处理器和电池模块，固定在镜框上方的一个彩色-红外-深度相机，以及设置在镜腿尾部的耳机；所述小型处理器中存储有包含多个位置信息的位置P-特征数据W库；相机、GNSS模块、骨传导耳机分别与小型处理器相连，电池模块与小型处理器相连，彩色-红外-深度相机实时地采集周围场景的彩色-深度-红外图像，GNSS定位模块实时地采集经纬度信息，小型处理器对获取的彩色-红外-深度图像和经纬度信息进行处理，小型处理器通过将多模态数据转化为定位结果后，将结果转化为声音信号，通过耳机告知用户；

其中，位置P-特征数据W库具体为：特征数据W包括对应于位置P的经度数据Lon、纬度数据Lat以及GIST、LDB、BoW三种特征，GIST、LDB、BoW三种特征从图像信息中提取得到，所述图像信息为在位置P处采集的彩色图像Color、深度图像Depth和红外图像IR，提取方法为：从Color中提取GIST特征；从Color、Depth和IR中分别提取LDB特征，并将三个LDB特征拼接为一个LDB特征；从Color中提取BoW特征；

定位方法如下：

(1)在待定位处通过相机采集彩色图像Color’、深度图像Depth’和红外图像IR’；通过GNSS定位模块获取经度数据Lon’和纬度数据Lat’；从Color’中提取GIST特征；从Color’、Depth’和IR’中分别提取LDB特征，并将三个LDB特征拼接为一个LDB特征；从Color’中提取BoW特征；

(2)根据Lon’和Lat’筛选出近似位置P，满足：

其中，t为近似阈值，0t1，Lon,Lat分别为数据库中存储的位置P的经度数据Lon和纬度数据Lat；

(3)分别根据GIST’、LDB’、BoW’三种特征从步骤3筛选出的近似位置中寻找最邻近位置，分别得到三个最邻近位置P_GIST,P_LDB,P_BoW，其中，两个位置的GIST特征之间的距离使用欧氏距离计算，两个LDB特征之间的距离使用Hamming距离计算，两个BoW特征之间的距离使用L1分数来计算；

(4)若P_GIST,P_LDB,P_BoW三点重合，则最终的定位结果P₀＝P_GIST＝P_LDB＝P_BoW，若三点不重合，则最终的定位结果为三个最邻近位置的中心点位置。

2.根据权利要求1所述的盲人辅助眼镜，其特征在于，所述三个LDB特征拼接为一个LDB特征，具体为：从Color、Depth和IR中分别提取LDB特征，分别记为LDBc、LDBd和LDBi，将三个LDB特征首尾相接拼接为一个LDB特征。

3.根据权利要求1所述的盲人辅助眼镜，其特征在于，三个最邻近位置的中心点位置通过以下方法获得：

其中，(Lon₀,Lat₀)为定位结果P₀的坐标，(Lon_GIST,Lat_GIST)为P_GIST的坐标，(Lon_LDB,Lat_LDB)为P_LDB的坐标，(Lon_BoW,Lat_BoW)为P_BoW的坐标。

4.根据权利要求1所述的盲人辅助眼镜，其特征在于，所述耳机为骨传导耳机。