[发明专利]基于全卷积神经网络与CRF技术的道路自动识别方法

说明书

本发明公开了基于全卷积神经网络与CRF技术的道路自动识别方法，步骤一、获取无人机航拍视频流并对无人机航拍视频进行解码；步骤二、从无人机航拍视频流中获得航拍图片；步骤三、读取此输入图片；步骤四、读取指定模型，若没有指定模型，读取默认模型；步骤五、对图片进行预测；步骤六、将预测好的图片以png格式保存。本发明采用多通道的全卷积神经网络的深度学习方法，结合由循环神经网络逼近的CRF算法，迁徙学习以及现有的无人机视频流处理方法来，通过无人机在飞行中挂载的航拍设备录制视频，从而自动完成对道路路网以及周边目标的识别，最大限度地提升无人机航拍道路识别的准确性。

技术领域

本发明涉及无人机航拍图像处理，计算机视觉，深度学习，迁徙学习，具体而言，涉及运用基于全卷积神经网络的深度学习技术自动标识无人机航拍图片中的道路以及周边目标技术。

背景技术

目前道路识别现状：

目前对无人机航拍图片的道路标识技术大多是手工的，半自动的(依赖人工和计算机同时操作)，少数运用图片中的部分特征如色彩、形状等进行自动标识。手工做法虽然可以保证一定的标识准确率，无需强大计算能力的机器，但是严重依赖拥有专业知识的技术人员。因此，此方法很难甚至无法应用于大规模的大图片的道路标识。自动航拍图中的道路可以有效避免上述的人力资源问题，却受限于标识的精确度。

如图1所示，现有技术中的道路识别方法。

附图来源：http://bbs.dji.com/thread-24617-1-1.html。

目前基于深度学习的目标识别的研究情况：在计算机视觉领域，深度学习方法已被证实将会有效提高标识准确率。在论文“Leaning to Detect Roads in High-Resolution Aerial Images”中，作者Mnih,Hinton提到他们的深度学习方法在检测美国马萨诸塞州航拍图片中已领先于其他非深度学习方法达7％。

如图2所示：《Minh与Hinton的深度学习，传统方法道路识别比较》，其中名称为other的曲线为非深度学习方法效果，其余均为深度学习方法效果。以曲线覆盖面积(AUC)评定算法优劣可见，深度学习方法胜于非深度学习方法。

如图3所示：《深度学习与传统方法的对比》，左图，右图分别为非深度学习，深度学习方法的预测结果。图中白色部分为模型预测的道路。可见，右图远优于左图。

然而通过普通全连接卷积神经网络(CNN)或者全卷积神经网络(FCN)得到的道路识别结果仍很粗糙，比如道路边缘还不够精确。原因如下：

(一)CNN感受视野过大、以至于最后的分割输出很粗糙(在网络最后一层的时候，每个神经元对应到原始图片的一块很大区域)；FCN最后放大比例是32倍，导致分割粗糙；

(二)CNN和FCN都缺少对空间、边缘信息等约束。CNN和FCN都是一种端到端的模型，没有加入任何已有的先验约束，我们是希望图像分割的时候，在边缘的地方分开的概率大一些(梯度越大的地方)。或者说我们希望两个相邻的像素如果差别越大，那么这两个像素属于不同类别的概率应该越大；如果两个相邻像素点的颜色非常接近，那么它们属于不同类别的概率应该越小。因此如果能够把这些人工已有的先验约束信息加入其中，那算法就会有进一步的提升。

针对以上的问题:感受视野过大、边缘约束不够强，《Semantic ImageSegmentation with Deep Convolutional Nets and Fully Connec ted CRFs》提出的算法是：先利用FCN做粗分割、然后再利用CRF进行精分割。具体FCN改进如下：

先利用FCN做粗分割、然后再利用CRF进行精分割。具体FCN改进如下：

1、把第一层卷积层的卷积核大小由7*7改为3*3；(减小感受野)；