[发明专利]一种基于深度学习的车道线检测方法在审
申请号: | 202210441263.0 | 申请日: | 2022-04-25 |
公开(公告)号: | CN114913493A | 公开(公告)日: | 2022-08-16 |
发明(设计)人: | 贾晨;李泽智;宋廷伦;张武;张恒于 | 申请(专利权)人: | 南京航空航天大学 |
主分类号: | G06V20/56 | 分类号: | G06V20/56;G06V10/774;G06V10/82;G06V10/26;G06V10/80;G06N3/04;G06N3/08 |
代理公司: | 江苏圣典律师事务所 32237 | 代理人: | 贺翔 |
地址: | 210016 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 基于 深度 学习 车道 检测 方法 | ||
1.一种基于深度学习的车道线检测方法,其特征在于,步骤如下:
步骤S1:获取Tusimple图像数据集;
步骤S2:对Tusimple图像数据集中车道线图像进行数据增强,并将增强后的车道线图像的分辨率调整为512×256,将调整后的图像作为车道线检测神经网络模型的训练数据集;
步骤S3:搭建车道线检测神经网络模型,确定损失函数,利用步骤S2中的训练数据集训练车道线检测神经网络模型直至收敛,以得到最佳模型;
步骤S4:加载最佳模型参数,将道路图像输入最佳模型,分别得到判定为不同车道线的各个点集;
步骤S5:对不同类别的车道线使用二次多项式进行拟合,并将拟合后的车道线叠加在原始图像上实现车道线检测的可视化。
2.根据权利要求1所述的基于深度学习的车道线检测方法,其特征在于,所述步骤S2中的数据增强包括:旋转,水平翻转,随机裁剪和添加高斯白噪声。
3.根据权利要求1所述的基于深度学习的车道线检测方法,其特征在于,所述神经网络模型由编码网络、解码网络、增强感受野模块、CBAM模块和两个特征融合模块组成;所述编码网络包括依次连接的预处理模块和五个残差层,所述解码网络包括依次连接的三个卷积上采样模块和一个输出模块。
4.根据权利要求3所述的基于深度学习的车道线检测方法,其特征在于,所述预处理模块包括:一个卷积核大小为7×7、步长为2、填充为3的卷积层和一个核为3×3、步长为1、填充为1的最大池化层,该预处理模块的输入图片分辨率为512×256,输出后的图片宽高各自减半。
5.根据权利要求3所述的基于深度学习的车道线检测方法,其特征在于,每个残差层由两个残差块组成,每个残差块由两条分支组成,第一条分支中包含两个卷积核大小为3×3的深度可分离卷积;第二条分支为一个卷积核大小为1×1的卷积层,第二条分支用于保证输入特征图和输出特征图的分辨率和维度相同;第二残差层、第三残差层添加通道注意力机制,在第四残差层、第五残差层中引入空洞卷积,扩张率分别为2和4;在上述编码网络过程中输出第一残差层、第二残差层和第五残差层得到的特征图,第五残差层输出的特征图通过增强感受野模块后再通过CBAM模块得到带有注意力权重的特征图后进入解码网络;第五残差层输出的特征图经过第一卷积上采样模块后通过第一特征融合模块,该第一特征融合模块同时与第二残差层输出的特征图相连接,第一特征融合模块的末端与第二卷积上采样模块相连,经过第二卷积上采样模块的特征图通过第二特征融合模块,该第二特征融合模块同时与第一残差层输出的特征图相连接,第一特征融合模块的末端与第三卷积上采样模块相连,经过第三卷积上采样模块的特征图通过输出模块,最终得到具有六个通道的特征图。
6.根据权利要求3所述的基于深度学习的车道线检测方法,其特征在于,所述增强感受野模块由四条并联的分支组成,第一条分支为1×1卷积,作用等同于残差网络中的残差结构;第二条分支为一个3×3的卷积且扩张率为3;第三条分支为两个3×3的卷积,扩张率分别为3和6;第四条分支为全局最大池化,将第二条分支和第三条分支的结果融合后通过一个1×1卷积,之后再与第一通道和第四通道进行融合;在该增强感受野模块的输入和输出处分别有一个1×1卷积,用于缩减与恢复通道数,降低四条分支中的计算量,加快网络运行速度。
7.根据权利要求3所述的基于深度学习的车道线检测方法,其特征在于,所述CBAM模块包括一个通道注意力和一个空间注意力,输入通过通道注意力产生输入的权重后乘以自身得到新特征图,再通过空间注意力产生新特征图的权重后乘以自身得到输出,输出结果进入解码网络中的第一卷积上采样模块。
8.根据权利要求7所述的基于深度学习的车道线检测方法,其特征在于,所述特征融合模块包括两个输入,第一输入来自解码网络,第二输入来自编码网络;第一输入通过空间注意力计算后得到带有注意力机制的权重,将第二输入乘以所述权重得到新的特征图后与初始的第一输入进行融合即在通道维度上进行拼接,得到的结果继续输出至解码网络进入卷积上采样模块。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京航空航天大学,未经南京航空航天大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202210441263.0/1.html,转载请声明来源钻瓜专利网。