[发明专利]一种基于边缘信息的图像平面区域检测方法

说明书

本发明公开了一种基于边缘信息的图像平面区域检测方法，首先采用神经网络对图像提取各层级的基础骨架网络特征，然后将得到的各层级特征通过上采样与层间链接的方式提取多层级的上下文特征，以及将得到的中间层级的特征通过迭代优化网络层来提取图像的多层级边缘特征，并优化不同层级特征至预期的特征维度；再将多层级上下文特征以及多层级边缘特征进行逐层级地成对融合，最后将融合后的特征提供给要训练的下游图像平面检测任务目标模型，以提升目标模型在下游图像平面检测任务的表现。

技术领域

本发明属于计算机视觉技术领域，具体涉及一种基于边缘信息的图像平面区域检测方法。

背景技术

场景中的平面区域为大量基于视觉的应用提供了重要信息，包括计算机视觉、立体视觉与机器人视觉。平面区域检测旨在使机器可以像人类一样具有理解高层场景结构的感知能力，是计算机视觉、模式识别等范畴的重要挑战之一。在从单个图像中提取所有平面后，人们可以选择他们感兴趣的平面，并基于这些平面区域设计有效且有吸引力的应用程序。例如，人们可以用喜爱的纹理装饰墙壁，或者广告商可以在宣传视频中充分利用信息较少的区域(例如桌子、墙壁和木板)，以更有效地营销他们的产品。此外，平面特征也是自主机器人感知周围环境和通过相机视图构建地图的关键线索。

与传统物体中的检测和分割不同，平面检测更为受限也更具有挑战性，原因一方面来自平面缺少了既定类别的假设并要求分割任意类别的平面，另一方面在于由于场景内结构信息如平面法向量的高级抽象，平面区域的边界难以界定。随着深度神经网络的兴起，分析平面区域由于卷积神经网络学习图像高层次特征表征的能力而成为可能。Yu等人2019年在CVPR(1029-1037)发表的论文“Single-Image Piece-wise Planar 3DReconstructionvia Associative Embedding”和Liu等人2019年在CVPR(4450-4459)发表的论文“PlaneRCNN:3D Plane Detection and Reconstruction from a Single Image”设计了基于CNN的架构来分析平面区域。前者应用一种两阶段自下而上的网络架构，后者利用MaskR-CNN生成任意数量的平面，其同时设计精炼模块集成所有平面的特征来进一步细化预测结果。然而，由于平面类别不可知的挑战，这些方法预测的分割掩码并不准确，且小尺寸的平面难以被检测到。

近来边缘信息在显著性目标检测、场景分割、解析领域被证明可有效帮助模型学习更具判别性的特征。Li等人2021年在TPAMI上发表的“Self-correction for humanparsing”构造了额外的边缘网络估计物体的边缘并提出自校正策略去除错误的标签。但是，其仅优化边缘区域的特征，而边缘区域像素在图像中占比极少，约1％。

发明内容

本发明的目的是针对现有平面区域检测方法的不足进行改进，提供一种基于边缘信息的图像平面区域检测方法，该方法能够提升下游图像平面分析任务的性能。

本发明是通过以下技术方案实现的：

一种基于边缘信息的图像平面区域检测方法，包括以下步骤：

步骤1、采用神经网络对图像提取各层级的基础骨架网络特征；

步骤2、将步骤1得到的各层级特征通过上采样与层间链接的方式提取多层级的上下文特征；

步骤3、将步骤1得到的中间层级的特征通过迭代优化网络层来提取图像的多层级边缘特征，并优化不同层级特征至预期的特征维度；

步骤4、将步骤2获得的多层级上下文特征以及步骤3获得的多层级边缘特征进行逐层级地成对融合，并将原本不同分辨率的上下文特征和边缘特征分辨率保持相同；

步骤5、将融合后的特征提供给要训练的下游图像平面检测任务目标模型，以提升目标模型在下游图像平面检测任务的表现。