[发明专利]一种基于编解码结构的人群计数定位方法

说明书

本发明公开了一种基于编解码结构的人群计数定位方法，涉及计算机视觉领域，解决现有技术中对特征的利用不够充分、标签图不能很好的兼顾计数和定位任务的问题，本发明技术方案其一是提出了一种编解码结构的计数定位网络，并在网络深层引入了多尺度特征融合模块，以及再解码部分引入了空间‑通道注意力上采样模块，多尺度特征融合模块使用不同膨胀率的空洞卷积捕捉多个尺度的特征并进行特征融合，提升了网络应对尺度变化的鲁棒性，空间‑通道注意力上采样模块通过高层的高级语义指导浅层特征进行高效率融合，减少了冗余特征及图片背景的干扰；其二是提出了一种新的标签图，该标签图既具有密度图简易计数的优势又具备FIDT图的定位性能。

技术领域

本发明涉及计算机视觉领域，具体涉及一种基于编解码结构的人群计数定位方法。

背景技术

人群计数及定位是通过算法预测人群中的数量信息及位置信息。该技术广泛用于城市管理，智能安防等领域，尤其是在人群聚集场所，对于预防各种意外事件的发生和加强区域管理具有重要意义。目前，在计数领域，广泛使用的方法是通过卷积神经网络回归得到密度图，然后对密度图进行积分求和得到人数信息。但是密度图在稍密集的区域便会出现重叠现象(如图8(b))，不利于定位，为了拓展网络应用场景，一种做法是利用FIDT图(如图8(c))替代密度图当做深度学习回归标签进行训练，再将图片送入训练好的网络得到预测图，然后通过LMDS算法寻求峰值点，从而给出定位和计数信息。然而，相较于密度图，FIDT图虽然定位性能更好，但其计数方式却更为繁琐且对标签图的回归质量有较高要求。此外，在网络结构方面，为了获得高质量的回归图，编解码结构被许多算法采用，其大致流程是将图片先进行编码提取特征，再逐步上采样至输入尺寸进行解码，但编解码结构在网络深层存在特征丢失，限制了其性能发挥；另一方面，实际场景中人头往往尺度不一，这就要求网络还要具备捕获多尺度信息的能力。对于上述问题，本文从标签图和特征融合两个方面进行解决。

现存技术存在的主要问题及缺陷是：

对特征的利用不够充分：现实场景中，由于摄像机透视效应的影响，同一张图片，人头部尺寸往往存在较大差异，但简单的编解码结构并不能很好的捕捉多尺度特征。此外，在编码过程中，会对特征图进行下采样，以获得更高级的语义信息，但这也会造成深层网络空间信息不足；值得注意的是，浅层网络中，虽然语义信息不足，却包含了丰富的空间位置信息，这些信息对于计数及定位性能非常重要。因此，如果直接在编码结束时，对特征图进行上采样，生成的预测图在图像质量上会显得比较粗糙。现有的部分方式是直接将浅层特征同高层特征进行融合，但浅层网络通畅包含大量的特征冗余，直接引入甚至可能导致性能下降。

标签图不能很好的兼顾计数和定位任务：当前主流算法采用的密度图，虽然计数方便，但定位性能较弱，在稍密集的区域就会出现重叠现象，不能准确突出人头峰值点；而FIDT图计数性能虽强但计数方式不如密度图简洁，其计数精度也同定位精度联系紧密，对标签图的回归质量具有较高要求。

解决以上问题及缺陷的难度为：编解码网络中，要想充分利用所提取的特征，特征融合就在所难免，考虑到浅层特征存在特征冗余，就需要设计一种注意力特征融合模块，而想要捕获多尺度特征，还需在网络中增加多尺度特征融合模块；在标签方面，为了灵活的进行计数和定位任务，需要标签图既要具有简洁的计数方式，又要兼顾良好的定位性能，但现存标签图均不具备此特征，需要对标签图的生成方式进行重新设计。

解决以上问题及缺陷的意义为：新的标签图可以兼顾计数和定位任务，可以直接替换已有算法训练所使用的密度图和FIDT图，增加任务灵活性。而提升了特征利用能力的编解码网络可以进一步的提高计数和定位性能，同时还可以在计算机视觉的其它领域如语义分割上迁移运用。

发明内容

本发明的目的在于：为了解决上述技术问题，本发明提供了一种基于编解码结构的人群计数定位方法。

本发明采用的技术方案如下：

一种标签图生成方法，所述方法包括以下步骤：