[发明专利]基于语义增强的多尺度特征金字塔融合的行人检测方法

说明书

本发明提供了一种基于语义增强的多尺度特征金字塔融合的行人检测方法，涉及计算机视觉技术领域，能够有效地提取和整合多尺度特征图以进行多尺度行人检测，明显提升多尺度行人检测的性能；该方法先采用梯形路径增强模型提取图片的多尺度特征，再通过多尺度特征融合模型进行特征融合；所述梯形路径增强模型为在现有特征金字塔的基础上加入更高层次的特征层来提取更高层次的语义特征信息；所述多尺度特征融合模型具体为通过相邻特征层的特征数据相加再级联的方式进行特征融合，以增强不同尺度下的特征信息，同时减少通道数。本发明提供的技术方案适用于行人检测的过程中。

【技术领域】

本发明涉及计算机视觉技术领域，尤其涉及一种基于语义增强的多尺度特征金字塔融合的行人检测方法。

【背景技术】

行人检测是计算机视觉中最重要的任务之一。其目的是在图像或视频序列中准确定位行人。由于其在实际应用中的巨大价值，因此已经有很多研究工作对其进行了深入的研究。当前，行人检测已广泛应用于智能视觉系统中，例如自动驾驶，智能监控和道路场景理解。而基于深度学习的方法的应用大大提高了行人检测的性能。然而，由于行人尺度的巨大差异，多尺度行人检测仍是一个极具挑战性的研究课题。

目前有一些研究工作在多尺度行人方面进行了研究。例如，TLL(T.Song,L.Sun,D.Xie,H.Sun,and S.Pu.Small-scale pedestrian detection based on topologicalline localization and temporal feature aggregation.In The European Conferenceon Computer Vision(ECCV),September 2018.)通过定位每个行人的somatictopological line解决尺度变化问题，从而减少了背景噪声的影响。在(J.Li,X.Liang,S.Shen,T.Xu,J.Feng,S.Yan.Scale-aware Fast R-CNN for Pedestrian Detection[J].In Multimedia,2015.)中设计了两个子网分别检测大目标和小目标。然而，大多数现有的行人检测器仅在其骨干网中采用单尺度特征图进行检测，无法充分利用多尺度特征信息的优势，导致多尺度检测性能不尽人意。最近，CSP(W.Liu,S.Liao,W.Ren,W.Hu,Y.Yu.High-Level Semantic Feature Detection:A New Perspective for PedestrianDetection.CVPR 2019:5187–5196)实现了行人检测的最新结果。它采用无锚的检测方法，但是其仅从主干中提取一层特征图来进行检测，不利于多尺度目标的检测。

为了更好地检测不同尺度的物体，一些通用的目标检测器使用特征金字塔来利用多尺度信息。特征金字塔通过卷积层生成多尺度特征图以进行多尺度目标检测。最经典的特征金字塔网络(FPN)(T.Lin，P.Doll′ar，R.B.Girshick,K.He,B.Hariharan,andS.J.Belongie.Feature pyramid networks for object detection.In CVPR,2017.)由自上而下和自下而上的路径与水平连接构成。特征金字塔的每一层都将具有不同分辨率和不同语义信息的特征组合在一起，从而获得更强大的表示。但是，传统的自上而下的FPN受到固有的单向信息流的限制。PANet(S.Liu，L.Qi，H.Qin，J.Shi，J.Jia，“Path aggregationnetwork for instance segmentation”，IEEE Conference on Computer Vision andPattern Recognition,pp.8759-8768,2018.)用额外的自下而上的路径补充了FPN，以增强定位能力，但仍然存在不足。

另外，当前大多数特征金字塔都使用多重检测头对不同比例的特征图执行并行检测。该策略的主要问题在于其计算冗余，因为不同规模的多个检测头可能会重复检测中间尺度的目标，因此，不太适于广泛推广。