[发明专利]一种安防摄像头高准度智能识别目标跟踪系统及方法

说明书

本发明提供了一种安防摄像头高准度智能识别目标跟踪系统及方法，通过级联一系列RPN(Region Proposal Network，区域生成网络)，解决了类不平衡问题，同时充分挖掘跨层特征，实现了稳健的视觉跟踪功能。本发明首次提出了一种新的多阶段跟踪框架即孪生级联RPN，实现了一个基于孪生级联RPN的跟踪器，进一步提高了孪生级联RPN利用高级语义信息和低级空间信息的识别能力，通过多步回归，使定位更加准确，训练样本的分布顺序更加平衡；本发明的RPN的分类器在区分更困难的干扰物时依次更具辨别力，在复杂背景下目标定位更准确并且具有实时性。

技术领域

本发明属于安防摄像头技术领域，具体涉及一种安防摄像头高准度智能识别目标跟踪系统及方法。

背景技术

在目标跟踪方面，Siamese-RPN已经取得了不错的结果，但可能会向背景漂移，尤其是在存在类似语义干扰的情况下。主要原因有两个：

第一，训练样本的分布不平衡：(1)正样本远小于负样本，导致孪生网络训练无效；(2)大多数负样本是简单的负样本(非相似的非语义背景)，在学习区分分类器时几乎没有有用的信息。因此，分类器主要由容易分类的背景样本控制，当遇到困难的相似语义干扰时，分类器性能会降低。

第二，低层次空间特征的探索还不够充分。在Siamese-RPN(和其他孪生网络的跟踪算法)中，只有最后一层包含更多语义信息的特征被用来区分目标/背景。然而，在跟踪过程中，背景干扰源和目标可能属于相同的类别，并且/或者具有相似的语义特征。在这种情况下，高级语义特征在区分目标/背景方面的识别性较低。

除了上述问题外，单级Siamese-RPN还为目标定位应用了一个回归，即预先定义的锚点。当与目标有很高的重叠时，这些锚点一般具有很好的效果。然而，对于无模型视觉跟踪来说，目标对象的先验信息是未知的，很难估计目标的尺度是如何变化的。在单步回归中使用预先定义的粗糙锚点不足以精确定位。

另一方面，在两级目标检测算法中解决了类别不平衡问题(例如FasterR-CNN)。第一个proposal阶段快速过滤掉大部分背景样本，第二个分类阶段采用抽样启发式方法，例如，用固定的比率，以保持前景和背景之间的可管理平衡。此外，两步的回归实现了精确的局部化，即使是对具有极端形状的对象。

发明内容

本发明要解决的技术问题是：提供一种安防摄像头高准度智能识别目标跟踪系统及方法，用于解决类不平衡问题，实现稳健的视觉跟踪功能。

本发明为解决上述技术问题所采取的技术方案为：一种安防摄像头高准度智能识别目标跟踪系统，系统的初始神经网络模型为孪生级联RPN，包括依次连接的孪生神经网络模块和级联RPN模块；孪生神经网络模块分为N层卷积神经网络层，用于从图像中提取特征，并按层将特征发送给级联RPN模块；级联RPN模块包括L(L≤N)个阶段的级联的RPN，用于根据每个阶段的RPN的多级特征进行序列分类和回归；级联RPN模块还包括每个阶段的RPN对应的特征传递模块FTB和锚点模块；每个阶段的RPN对应的特征传递模块FTB的信号输入端分别连接当前层和上一层的卷积神经网络层的信号输出端，每个阶段的RPN对应的特征传递模块FTB的信号输出端分别连接当前阶段的RPN和下一个阶段的特征传递模块FTB的信号输入端，用于跨层融合特征使每个阶段的RPN共享高级语义功能以提高辨别能力；每个阶段的锚点模块的信号输入端连接上一个阶段的RPN的信号输出端，每个阶段的锚点模块的信号输出端连接当前阶段的RPN的信号输入端，用于逐步细化锚点并进行精确定位。

按上述方案，孪生神经网络模块包括Z分支和X分支，Z分支和X分支相同，分别用于从目标模板Z和搜索区域X中提取特征；设n为正整数，Z分支的第m层特征为X分支的第m层特征为当n＝N时，Z分支和X分支的所有层对应共享参数；当n＜N时，孪生神经网络Z分支和X分支的部分层对应共享参数。