[发明专利]一种多尺度全卷积网络及视觉导盲方法和装置

权利要求书

1.一种多尺度全卷积网络，用于检测多类道路目标，包括分类网络和检测网络，其特征在于，所述分类网络用于提取预置窗口的特征；所述检测网络用于给所述预置窗口打分及回归，采用多通道并联的结构，直接将1*1的卷积层直接进行特征融合，并将5*5的卷积拆分成两个3*3的卷积操作；

将1*1的卷积层直接进行特征融合的具体方法为：首先采用1×1卷积核调节卷积特征谱的通道个数，随后采用不同大小的卷积核提取不同尺度的卷积特征，最后将不同的通道的特征进行融合。

2.根据权利要求1所述的多尺度全卷积网络，其特征在于，所述分类网络将输入的彩色图片大小裁切为100*100大小，随后连接两个以上卷积模块，每个卷积模块包括卷积操作、批归一化操作和带参数的ReLU激活函数；所述分类网络采用3*3、2*2和1*1大小的滤波器，步长为1，并在设定卷积模块后分别加入最大池化操作，池化区域大小为2*2，步长为1；利用设定卷积模块的特征对图像进行分类。

3.一种基于权利要求1到2之一所述多尺度全卷积网络的视觉导盲方法，其特征在于，对分类网络和检测网络进行训练生成多尺度全卷积网络，采用生成的多尺度全卷积网络实现对各类道路目标的检测；采用深度图生成方法，检测附近的一般障碍物，并计算出各类检测目标和障碍物与装置携带者之间的准确距离；

所述深度图生成方法的具体方法步骤为：

S3-1、根据实际需求对拍摄得到的左右图像进行预处理，采用高斯滤波或双边滤波的方式实现预处理；

S3-2、对预处理过的左右图像进行Census变换，并计算梯度及边缘；

S3-3、结合census变换的匹配代价、SAD匹配代价以及梯度匹配代价三者计算最终的匹配代价体；所述最终匹配代价体的具体计算方法为：按照1：1：4的比重调节SAD匹配代价、梯度代价、census变换的匹配代价得到最终的匹配代价体；

S3-4、用基于边缘的自适应窗口进行代价累积，利用WTA算法获取初始视差图；

S3-5、利用MST全局聚合代价进行代价积累，并利用WTA算法获取优化后的视差图；所述利用MST全局聚合代价进行积累的具体方法为：构造四邻域图；利用Sollin算法构造出最小生成树；匹配代价的叠加，为了加快树结构匹配代价的聚合速度，采用基于广度优先搜索的代价累计算法，避免重复计算，给定由像素节点构成的最小生成树，每个节点的聚合代价由其他节点沿着最小生成树的路径逐步累积得到；所述基于广度优先搜索的代价累计算法包括两部分：基于自底向上的遍历和基于自顶向下的遍历；

S3-6、对生成的视差图进行后处理；

S3-7、结合深度网络监测出的物体，给出该物体与摄像头之间的距离；检测出与摄像头距离设置范围内的区域，并给出距离。

4.根据权利要求3所述的基于多尺度全卷积网络的视觉导盲方法，其特征在于，所述分类网络的具体训练方法步骤为：

S1-1、将输入图像进行预处理，所有图像被归一化到120*120像素；

S1-2、随机对输入图像进行裁剪，将图像裁剪为100*100像素，输入网络时每次输入设定数量的图像；

S1-3、采用随机梯度下降法和梯度后向传递的方法对模型参数进行更新，并计算分类损失；

S1-4、将最终训练的模型保存下来；

所述检测网络的具体训练方法步骤为：

S2-1、将整个检测网络设置卷积模块以前的初始参数用分类网络的参数替换；

S2-2、随机对输入图像进行裁剪，将图像裁剪为100*100像素，输入网络时每次输入设定数量的图像；

S2-3、采用随机梯度下降法和梯度后向传递的方法对模型参数进行更新看，并计算分类损失。