[发明专利]一种基于深度视觉的可穿戴导盲设备及服务器

权利要求书

1.一种基于深度视觉的可穿戴导盲设备，其特征在于，包括：深度摄像头、处理器、导盲提示模块及电路控制模块；

所述处理器分别与深度摄像头及导盲提示模块连接，所述电路控制模块分别与前述各个模块连接，用于为导盲设备提供电源及对各个模块的电路进行管理；

所述深度摄像头，用于获取自身前方预定视场内的图像流，并发送给所述处理器；所述图像流包括深度图像与彩色图像；

所述处理器，用于将所述深度图像转换为以灰度表示深度的初始RGB-D图像，用聚类算法对所述初始RGB-D图像进行修复处理，得到RGB-D修复图像；

及对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像；

根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述RGB-D修复图像进行聚类处理，得到包含不同灰度信息的分布图像；所述灰度信息包括视场角内的障碍物及其到当前拍摄视点的距离；

根据所述分布图像的灰度信息确定出障碍物的位置，并基于所述障碍物的位置发送导盲信息至所述导盲提示模块；

所述导盲提示模块，用于根据所述导盲信息对用户进行路径导盲提示；

所述处理器，用聚类算法对所述初始RGB-D图像进行修复处理，得到RGB-D修复图像包括：

对所述初始RGB-D图像，设定聚类个数、模糊指数、收敛精度及迭代次数；

初始化一个隶属度，根据K均值聚类算法计算出一个第一聚类中心；

将得到的所述第一聚类中心作为KFCM算法的初始聚类中心使用，根据隶属度迭代公式计算第一次迭代隶属度u^(k+1)，所述隶属度u_ij迭代公式为：

根据聚类中心迭代公式计算得到第一次迭代之后的聚类中心v^(k+1)，令k＝k+1，其中聚类中心迭代公式为：其中K(x_j,v_i)是高斯径向基函数，其形式为m为模糊指数，k为迭代次数，k的初始值为0，u_ij是隶属度，v_i表示聚类中心；

重复迭代计算隶属度和聚类中心，直到存在i使其中c为聚类个数，i为当前迭代次数，i为正整数、且1≤i≤c；

调用KFCM算法目标核函数，基于最后一次计算得到的隶属度与聚类中心，构建原始空间的点坐标与特征空间坐标的映射关系，根据所述映射关系将原始空间的点转换到特征空间中，以对初始RGB-D图像进行最优划分处理。

2.根据权利要求1所述的导盲设备，其特征在于，所述处理器，对所述彩色图像进行语义分割处理，得到分割后的彩色修复图像包括：

制作训练样本数据集；

将样本数据进行批量处理并输入选定的编码-解码类深度学习模型中训练，输出得到图像分割模型；

将待处理的图像修改为预定像素大小的RGB图像，并将RGB三原色的值进行数字标准化；

将数字标准化处理后的RGB图像输入所述图像分割模型，对所述RGB图像进行压缩提纯处理，获取图像中每个像素点的类别并输出，得到分割后的彩色修复图像。

3.根据权利要求2所述的导盲设备，其特征在于，根据预设的灰度阈值，利用得到的分割后的所述彩色修复图像对所述RGB-D修复图像进行聚类包括：

基于所述分割后的彩色修复图像的语义分割结果对RGB-D修复图像进行分割和标注，得到标注的RGB-D图像；

对所述标注的RGB-D图像进行处理，提取图像中所有极小值点的深度，利用所述彩色修复图像的语义分割结果对所述极小值点进行聚类；其中，聚类结果中包括灰度信息；

根据预设的灰度阈值，将上述聚类结果中的灰度分为三个等级，并分别对所述灰度赋相应等级区间内的灰度值，得到包含三种灰度值的分布图像结果。

4.根据权利要求1所述的导盲设备，其特征在于，所述导盲提示模块包括音频输出单元，所述处理器，还用于在根据所述分布图像的灰度信息确定出障碍物的位置同时或之后，将确定出的障碍物的分布图像转化为电子立体声和普通话语音播报信息输出至所述音频输出单元；

所述音频输出单元，用于以语音播报的形式向用户反馈障碍物位置分布并进行路径导盲提示，以使用户根据所述路径导盲提示行走。