[发明专利]一种实现地形和目标检测的盲人辅助眼镜

权利要求书

1.一种实现地形和目标检测的盲人辅助眼镜，其特征在于，包括眼镜本体，嵌入式安装在其中一个镜腿内的小型处理器和电池模块，固定在镜框上方的一个相机，以及设置在镜腿尾部的耳机模块；所述小型处理器中存储有包含有一个训练好的神经网络；相机、骨传导耳机分别与小型处理器相连，电池模块与小型处理器相连，相机实时地采集周围场景的彩色图像，将彩色图像Color输入预先训练的神经网络模型，得到语义分割图像Semantics，识别出彩色图像中每个像素的地形或者目标类型，即完成对待检测区域的地形和目标检测；小型处理器将检测结果转化为声音信号，并传给耳机模块，告知用户；

所述的神经网络通过以下方法训练得到：

从大型的语义分割数据集中获取训练数据集，包括m张彩色图像Color与其一一对应的m张标记图像Label，对应关系如下：标记图像Label中的像素单元与彩色图像Color中的像素单元一一对应，标记图像Label中的像素单元标记彩色图像Color中的像素单元的语义标号；m≥10000；所述像素单元为：来源于同一物体的所有像素点组成的单元，同一类别的物体用一语义标号进行标识；

以彩色图像Color为输入，标记图像Label为输出，对语义分割模型进行训练，得到预先训练的神经网络模型；

基于神经网络的语义分割模型中每一层网络如下：

第1层是下采样层，输出特征图的维数为16，输出特征图的分辨率为320×240；

第2层是下采样层，输出特征图的维数为64，输出特征图的分辨率为160×120；

第3-7层是一维分解瓶颈层，输出特征图的维数为64，输出特征图的分辨率为160×120；

第8层是下采样层，输出特征图的维数为128，输出特征图的分辨率为80×60；

第9层是扩张卷积率为2的一维分解瓶颈层，输出特征图的维数为128，输出特征图的分辨率为80×60；

第10层是扩张卷积率为4的一维分解瓶颈层，输出特征图的维数为128，输出特征图的分辨率为80×60；

第11层是扩张卷积率为8的一维分解瓶颈层，输出特征图的维数为128，输出特征图的分辨率为80×60；

第12层是扩张卷积率为16的一维分解瓶颈层，输出特征图的维数为128，输出特征图的分辨率为80×60；

第13层是扩张卷积率为2的一维分解瓶颈层，输出特征图的维数为128，输出特征图的分辨率为80×60；

第14层是扩张卷积率为4的一维分解瓶颈层，输出特征图的维数为128，输出特征图的分辨率为80×60；

第15层是扩张卷积率为8的一维分解瓶颈层，输出特征图的维数为128，输出特征图的分辨率为80×60；

第16层是扩张卷积率为2的一维分解瓶颈层，输出特征图的维数为128，输出特征图的分辨率为80×60；

第17a层是第16层输出的原始特征图，输出特征图的维数为128，输出特征图的分辨率为80×60；

第17b层是第16层输出的原始特征图的池化和卷积，输出特征图的维数为32，输出特征图的分辨率为80×60；

第17c层是第16层输出的原始特征图的池化和卷积，输出特征图的维数为32，输出特征图的分辨率为40×30；

第17d层是第16层输出的原始特征图的池化和卷积，输出特征图的维数为32，输出特征图的分辨率为20×15；

第17e层是第16层输出的原始特征图的池化和卷积，输出特征图的维数为32，输出特征图的分辨率为10×8；

第17f层是第17a-17e层的上采样和级联，输出特征图的维数为256，输出特征图的分辨率为80×60；

第18层是卷积层，输出特征图的维数为地形和目标类别数，输出特征图的分辨率为80×60；

第19层是上采样层，输出特征图的维数为地形和目标类别数，输出特征图的分辨率为640×480；

其中，所述上采样层采用双线性插值完成；

将待检测的彩色图像Label输入神经网络模型后，第19层得到的输出特征图即为各个类别的概率图，通过argmax函数即可得到语义分割图像Semantics。