[发明专利]一种联合反射注意力和自注意力机制的道路水体检测方法有效
申请号: | 202011290844.6 | 申请日: | 2020-11-17 |
公开(公告)号: | CN112699727B | 公开(公告)日: | 2022-10-28 |
发明(设计)人: | 王欢;孟策 | 申请(专利权)人: | 南京理工大学 |
主分类号: | G06V20/10 | 分类号: | G06V20/10;G06V10/82;G06N3/04;G06N3/08 |
代理公司: | 南京理工大学专利中心 32203 | 代理人: | 岑丹 |
地址: | 210094 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 联合 反射 注意力 机制 道路 水体 检测 方法 | ||
本发明公开了一种联合反射注意力和自注意力机制的道路水体检测方法,包括:利用可见光相机采集道路水体图像并标注;构建本文所述的网络模型,并使用训练图像和标注数据对网络进行训练;将待检测的图像缩放至指定尺寸,输入训练好的网络,获得用以表示水体区域和非水体区域的二值图像。本发明能够利用可见光相机采集的路面图像高效地进行水体检测,检测结果的较为精细并且在各项指标上都有良好的表现,适用于无人车上的地表分类相关任务。
技术领域
本发明属于计算机视觉中的图像分割任技术,具体为一种联合反射注意力和自注意力机制的道路水体检测方法。
背景技术
对于道路图像的水体区域检测,大多数现有的深度学习方法都将其作为图像分割问题进行处理,而U-Net作为医学图像分割领域的基线,同时利用了来自底层和高层的图像特征,保证了恢复出来的分割结果比较精细。同时,网络的参数量不太大,不至于过拟合。但是由于医学图像和道路水体图像性质的不一致性,医学图像中的病灶面积大多较小,而道路图像中的水体区域面积大小不固定,因此直接将U-Net网络用于道路图像水体区域检测会导致检测的精确率和召回率不够高。
反射注意力单元首次提出于ECCV 2018的论文《Single Image Water HazardDetection using FCN with ReflectionAttention Units》中,该文章针对水体表面可以反射周围环境的物理特性,提出了反射注意力单元(ReflectionAttention Units, RAU),反射注意力单元的初衷是让深度神经网络能够捕捉图像不同部分之间的反射对应关系。由于反射关系大多是垂直的,因此先通过池化操作将多尺度的特征映射在垂直方向上划分为若干个块,然后将每块上采样为原特征图大小,与原特征图相减,将相减后的特征图连同原特征图在通道维度上连接,最后卷积得到和原来特征图尺寸相同的输出特征图。实验结果表明,在FCN-8s的每个池化层之前添加相应的反射注意力单元能够有效改善水体检测结果的质量,准确率和召回率都有大幅提高。但是,全卷积网络提取特征的能力有限,并且在上采样环节没有利用之前提取出来的特征,在性能上仍有较大的提升空间。
《Water Hazard Detection Using cGAN with Mixture ReflectionAttentionUnit》的作者认为,通过使用RAU的预处理函数对输入进行预处理,并且通过对抗学习的方式,可以有效提高预测的准确性。该文章重新注释了相关数据集,并且将网络的基础架构从FCN(Fully Convolutional Networks)更换为cGAN(Conditional GenerativeAdversarial Networks)。该文章将原始图像作为输入,馈送到cGAN 的生成器中,然后生成器输出代表检测结果的二值图像。对于鉴别器,将生成的二值图像或者真实的分割掩膜输入鉴别器,并将对应的原始输入图像作为条件输入。该文章将RAU中的预处理函数提取出来对生成器和鉴别器的输入进行预处理,并在生成器的第一个和第三个卷积层后面加入RAU。该方法在图像分割中引入GAN,是强化学习思想在图像分割领域的有益尝试,但是GAN的训练过程比较复杂,难以收敛,无法得到稳定的性能提升。
发明内容
本发明的目的在于提供了一种联合反射注意力和自注意力机制的道路水体检测方法。
实现本发明目的的技术方案为:一种联合反射注意力和自注意力机制的道路水体检测方法,包括以下步骤:
步骤1、利用可见光相机采集不同场景下的道路图像并缩放至指定尺寸构成训练集,标注训练集图像的水体位置信息的掩膜作为标签;
步骤2、构建联合反射注意力单元和自我注意力机制的类U-Net网络,所述类U-Net网络包括下采样通道、位置注意力模块和通道注意力模块、上采样通道;
步骤3、利用训练集图像训练类U-Net网络;
步骤4、将待检测的可见光图像馈送到网络中,获得用以表示水体区域和非水体区域的二值图像。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于南京理工大学,未经南京理工大学许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202011290844.6/2.html,转载请声明来源钻瓜专利网。