[发明专利]一种基于计算机视觉的盲人导航方法、装置及系统

摘要

本发明涉及计算机视觉技术领域，具体公开了一种基于计算机视觉的盲人导航方法，其中，包括：通过摄像头实时获取周围环境的图像数据；将图像数据通过算法处理得到摄像头位姿、物体类别和物体在图像数据中的位置以及每个像素的深度信息；将摄像头位姿、物体类别和物体在图像数据中的位置以及每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对摄像头位姿进行处理后得到用户行走的轨迹；判断用户是否偏离行走路线，以及根据物体在三维坐标系中的位置向用户发出是否有障碍物的提示信息。本发明还公开了一种基于计算机视觉的盲人导航装置及系统。本发明提供的基于计算机视觉的盲人导航方法能够便于盲人使用且成本低。

主权项

1.一种基于计算机视觉的盲人导航方法，其特征在于，所述基于计算机视觉的盲人导航方法包括：

通过摄像头实时获取周围环境的图像数据，所述图像数据包括连续的多帧图像；

将所述图像数据通过算法处理得到所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息；

将所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对所述摄像头位姿进行处理后得到用户行走的轨迹；

根据所述用户行走的轨迹以及结合用户的目的地判断用户是否偏离行走路线，以及根据所述物体在三维坐标系中的位置向用户发出是否有障碍物的提示信息。

2.根据权利要求1所述的基于计算机视觉的盲人导航方法，其特征在于，所述将所述图像数据通过算法处理得到所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息包括：

将所述图像数据通过定位与地图构建算法进行处理得到所述摄像头位姿；

将所述图像数据通过深度学习Focal Loss算法进行处理得到所述图像数据中的物体的类别和物体在所述图像数据中的位置；

将所述图像数据通过深度学习FCRN算法对所述图像数据的深度进行处理，得到所述图像数据中每一个像素的深度信息。

3.根据权利要求2所述的基于计算机视觉的盲人导航方法，其特征在于，所述定位与地图构建算法包括基于ORB特征提取的同时定位与地图构建算法。

4.根据权利要求3所述的基于计算机视觉的盲人导航方法，其特征在于，所述将所述图像数据通过定位与地图构建算法进行处理得到所述摄像头位姿包括：

对每一帧图像提取ORB特征点；

将前后连续的两帧图像进行ORB特征点匹配；

判断前后连续的两帧图像的ORB特征点的匹配数量是否超过预设匹配阈值；

若超过预设匹配阈值，则通过匹配的所述ORB特征点分别计算基础矩阵F和单应矩阵H；

根据所述基础矩阵F和单应矩阵H以及选取准则选取计算矩阵；

根据所述计算矩阵计算所述摄像头的位姿，其中，所述摄像头的位姿包括旋转矩阵R和平移向量t。

5.根据权利要求4所述的基于计算机视觉的盲人导航方法，其特征在于，所述ORB特征点包括FAST角点和BRIEF描述子，所述对每一帧图像提取ORB特征点包括：

FAST角点提取，找出每一帧图像中的“角点”；

BRIEF描述子，对每个所述“角点”计算描述子。

6.根据权利要求2所述的基于计算机视觉的盲人导航方法，其特征在于，所述将所述图像数据通过深度学习Focal Loss算法进行处理得到所述图像数据中的物体的类别和物体在所述图像数据中的位置包括：

检测每一帧图像中的行人和物体；

使用长方形方框将所述物体框出；

输出检测到的每个所述物体的类别和与该物体对应的长方形方框的四个顶点在图像中的坐标。

7.根据权利要求2所述的基于计算机视觉的盲人导航方法，其特征在于，所述深度学习FCRN算法包括基于深度学习的全卷积残差网络算法，根据所述基于深度学习的全卷积残差网络算法对图像中的像素深度进行预先训练，并标注所述图片中的像素深度信息。

8.根据权利要求1所述的基于计算机视觉的盲人导航方法，其特征在于，所述将所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对所述摄像头位姿进行处理后得到用户行走的轨迹包括：

根据所述摄像头位姿计算用户经过的每个点在三维坐标系中的位置；

将三维坐标系中的所有位置点连接得到用户行走的轨迹；

根据所述摄像头位姿以及所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息计算得到每个物体在所述三维坐标系中的位置。

9.一种基于计算机视觉的盲人导航装置，其特征在于，所述基于计算机视觉的盲人导航装置包括：

获取模块，所述获取模块用于通过摄像头实时获取周围环境的图像数据，所述图像数据包括连续的多帧图像；

算法处理模块，所述算法处理模块用于将所述图像数据通过算法处理得到所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息；

信息整合模块，所述信息整合模块用于将所述摄像头位姿、所述图像数据中的物体类别和物体在所述图像数据中的位置以及所述图像数据中的每个像素的深度信息整合处理后得到物体在三维坐标系中的位置，以及对所述摄像头位姿进行处理后得到用户行走的轨迹；

导航与提示模块，所述导航与提示模块用于根据所述用户行走的轨迹以及结合用户的目的地判断用户是否偏离行走路线，以及根据所述物体在三维坐标系中的位置向用户发出是否有障碍物的提示信息。

10.一种基于计算机视觉的盲人导航系统，其特征在于，所述基于计算机视觉的盲人导航系统包括：设置有摄像头的移动设备和权利要求9所述的基于计算机视觉的盲人导航装置，所述基于计算机视觉的盲人导航装置设置在所述移动设备上，所述基于计算机视觉的盲人导航装置能够通过所述摄像头获取周围环境的图像数据，并对所述图像数据进行处理后得到导航信息以及障碍物提示信息。