[发明专利]一种基于深度卷积神经网络的光流场估计方法

说明书

本发明提供一种基于深度卷积神经网络的光流场估计方法，具体步骤：以卷积神经网络为基础构建Optical‑Flow‑Net‑S和Optical‑Flow‑Net‑C，简称OFNS和OFNC；以OFNS和OFNC为基础构建光流场估计模型Optical‑Flow‑Net‑Mix，简称ODNM；用光流数据集Flying Chairs和Flying Things3D先后对OFNM模型进行预训练和再训练；本发明设计的OFNM模型有效地提升了运动目标光流场估计的精度。

技术领域

本发明涉及无人驾驶与人工智能技术领域，尤其涉及一种基于深度卷积神经网络的光流场估计方法。

背景技术

自从第一辆汽车问世以来人类一直在努力追求实现无人驾驶的梦想，近三年谷歌、宝马、丰田、特斯拉、百度、小鹏、蔚来、上汽等公司都已着手进行大规模无人驾驶的路测实验。目前利用摄像头检测运动目标主要有两种方式：一种是基于传统计算机视觉算法，利用车道线、车辆的已知几何特征、纹理、颜色等进行检测，或者利用光流法估算视频相邻帧图像的光流场以获得目标的运动信息。另一种是基于深度神经网络方法来进行检测，通过训练深度神经网络让其自主学习所需的多层次特征，能够较精确地估计运动目标。基于车载摄像头提供二维图像视频信息逆向重建三维运动场景是一个典型欠定求解问题，当无人驾驶环境中目标存在强遮挡、大小位移均有、高动态变化时，建立准确、快速、鲁棒的光流估计模型仍然面临着很大的挑战。

发明内容

有鉴于此，本发明提供一种基于深度卷积神经网络的光流场估计方法，包括以下步骤：

S1、使用光流数据集FlyingChairs和FlyingThings3D作为训练数据集；

S2、以卷积神经网络为基础构建Optical-Flow-Network-S，简称OFNS模型；

S3、以卷积神经网络为基础构建Optical-Flow-Network-C，简称OFNC模型；

S4、以S2和S3构建的模型为基础构建Optical-Flow-Network-Mix，简称OFNM模型；

S5、使用S1中的光流数据集FlyingChairs对S4构建的OFNM模型进行预训练得到预训练模型，再利用光流数据集FlyingThings3D对预训练模型进行再训练得到模型的参数，然后利用训练好的模型对测试数据进行测试。

本发明提供的技术方案带来的有益效果是：估计光流场精度和提取目标轮廓的清晰度得到了很大提升，其性能足以和性能最好的传统方法EpicFlow相媲美，在部分数据集上甚至超过EpicFlow。

附图说明

图1是本发明一种基于深度卷积神经网络的光流场估计方法的流程图；

图2是本发明一种基于深度卷积神经网络的光流场估计方法中OFNS特征提取部分示意图；

图3是本发明一种基于深度卷积神经网络的光流场估计方法中OFNS光流场估计部分示意图；

图4是本发明一种基于深度卷积神经网络的光流场估计方法中OFNC特征提取部分示意图；

图5是本发明一种基于深度卷积神经网络的光流场估计方法中关联层计算两个图像块的关联性示意图；

图6是本发明一种基于深度卷积神经网络的光流场估计方法中关联层计算两张特征图的关联性示意图；

图7本发明一种基于深度卷积神经网络的光流场估计方法中OFNM光流场估计部分示意图；

图8本发明一种基于深度卷积神经网络的光流场估计方法中OFNM训练学习率和迭代次数示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图对本发明实施方式作进一步地描述。