[发明专利]一种多尺度全卷积网络及视觉导盲方法和装置

说明书

本发明提供了一种多尺度全卷积网络及视觉导盲方法和装置，包括分类网络和检测网络，所述分类网络用于提取预置窗口的特征；所述检测网络用于给所述预置窗口打分及回归，采用多通道并联的结构，直接将1*1的卷积层直接进行特征融合，并将5*5的卷积拆分成两个3*3的卷积操作；对分类网络和检测网络进行训练生成多尺度全卷积网络，采用生成的多尺度全卷积网络实现对各类道路目标的检测；采用深度图生成方法，检测附近的一般障碍物，并计算出各类检测目标和障碍物与装置携带者之间的准确距离。与现有技术相比，能够搭载在一块携带性非常高的移动装置上实现，能够达到实时的检测速度，且在复杂场景下都能保持较高的检测效果。

技术领域

本发明涉及一种视觉导盲技术，特别是涉及一种多尺度全卷积网络及视觉导盲方法和装置。

背景技术

我国有视力残疾者人数众多，情况十分严峻，政府正投入巨大财力用于盲人基础设施建设，包括医疗技术手段和导航系统升级等。借助现在技术一定程度上改变了盲人的生活状态，提升了其生活质量。

迄今为止，我国市场上还没有一款专门为盲人打造的导盲设备，而国外研发的导盲电子产品从工作方式上分为自主式与引导式两大类。其中自主式的导盲设备一般会装有传感器，盲人可以手持该种设备来感知系统传来的各种环境信息，通过语音提示安全的行走。引导式导盲设备自带微型处理器，具有较强信息处理能力，它携带多种探测传感器，可引导用户在复杂的室内或室外环境下行走。现有的导盲设备在功能上较为单一，技术上也有瓶颈。比如超声波导盲设备虽然方向性强，但检测的范围有限，测量出现盲区。红外线导盲设备不易散射，传播距离较远，但功率消耗大、电源体积大且不易于携带和使用等缺陷。导盲机器人虽然能模拟现实导盲犬为盲人安全的导路，但其硬件技术复杂，开发成本高，加之体积庞大不方便携带和维护，因而无法普及。引导式手杖其携带性不够高，且很大一部分盲人认为使用盲杖形象不佳，不愿意使用盲杖，同样不能推广。

以上导盲设备虽然可以满足盲人一定的导盲需求，但无法为视障群体提供综合全面的导盲任务。

发明内容

本发明要解决的技术问题是：

1、提供一种多尺度全卷积网络，能够有效地检测出多类道路目标；

2、提供一种基于多尺度全卷积网络的视觉导盲方法和装置，在检测出多类道路目标的同时，检测附近的一般障碍物，并计算出各类检测目标和障碍物与装置携带者之间的准确距离。

能够搭载在一块携带性非常高的移动装置上实现，能够达到实时的检测速度，且在复杂场景下都能保持较高的检测效果。

本发明采用的技术方案如下：

一种多尺度全卷积网络，包括分类网络和检测网络，所述分类网络用于提取预置窗口的特征；所述检测网络用于给所述预置窗口打分及回归，采用多通道并联的结构，直接将1*1的卷积层直接进行特征融合，并将5*5的卷积拆分成两个3*3的卷积操作。

将1*1的卷积层直接进行特征融合的具体方法为：首先采用1×1卷积核调节卷积特征谱的通道个数，随后采用不同大小的卷积核提取不同尺度的卷积特征，最后将不同的通道的特征进行融合。

所述分类网络将输入的彩色图片大小裁切为100*100(单位：像素)大小，随后连接两个以上卷积模块，每个卷积模块包括卷积操作、批归一化操作和带参数的ReLU激活函数；所述分类网络采用3*3、2*2和1*1(单位：像素)大小的滤波器，步长为1，并在设定卷积模块后分别加入最大池化操作，池化区域大小为2*2(单位：像素)，步长为1；利用设定卷积模块的特征对图像进行分类。

一种基于上述多尺度全卷积网络的视觉导盲方法，对分类网络和检测网络进行训练生成多尺度全卷积网络，采用生成的多尺度全卷积网络实现对各类道路目标的检测；采用深度图生成方法，检测附近的一般障碍物，并计算出各类检测目标和障碍物与装置携带者之间的准确距离。