[发明专利]基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法

说明书

本发明公开了一种基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法，包括基于图像混合方法将不同图片进行线性叠加，得到复杂背景图片；通过在线稀疏原型跟踪在外观模型上建模，利用正交子空间基向量和琐碎模板组成的原型来稀疏地线性表示被跟踪目标；基于观测模型和观测似然函数输出遮挡跟踪结果。实现通过数据增广方法将不同图片进行线性叠加，利用有限的训练集生成了带有语义信息的复杂背景图片，增强了SiamRPN对不同物体的判别能力，解决了背景杂乱的问题，在线稀疏原型的目标表示模型与改进的SiamRPN相结合，考虑了目标遮挡情况，利用观测似然函数和更新机制制作的鲁棒跟踪器，提高了被跟踪目标的定位精度，从而提升了整体跟踪性能。

技术领域

本发明涉及计算机视觉技术领域，尤其涉及一种基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法。

背景技术

计算机视觉是计算机模仿人眼视觉对外界事物的观察理解从图像和视频中获取感知信息，视觉跟踪是计算机视觉领域中一直研究的重点，视觉跟踪通过对运动目标进行图像检测、提取、识别和分析来获得运动目标的位置和运动轨迹等特征，它包括目标检测、目标特征提取和目标跟踪三部分。其中目标跟踪是根据目标初始状态和特征提取到的视觉特征对目标的时空状态进行估计。这一过程需要计算机视觉中的相关算法来对获取的图像、视频数据进行处理分析，以实现对运动目标的行为理解。在利用算法解决问题的同时要考虑到跟踪系统的实时性以及跟踪算法的鲁棒性和准确性。但这些要求在实际运用中很难同时满足，通常各有所短，如相关滤波类的方法跟踪速度快但精度低，而近年来最新发展的以卷积神经网络为代表的深度学习类方法精度高且学习能力强大，能够更好提取目标的特征且具有获取高级语义信息的能力，但卷积神经网络跟踪速度相对耗时。孪生神经网络SiamFC算法完全满足实时性的要求并具有较高的鲁棒性，但在遮挡和背景混乱情形下百分百跟丢，导致目标跟踪准确率低。

发明内容

本发明的目的在于提供一种基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法，以深度孪生网络为基础，与目标重检测中的区域建议网络实现准确快速的目标跟踪算法，针对分类回归孪生网络跟踪算法SiamRPN的缺点分别在离线阶段和在线跟踪过程对该算法提出改进，实现了具有实时性、高准确率的目标跟踪算法。

为实现上述目的，本发明提供了一种基于孪生神经网络线性表示模型的在线稀疏原型跟踪方法，包括：

在离线跟踪阶段，基于图像混合方法将不同图片进行线性叠加，得到第一数量个带有语义信息的复杂背景图片；

在在线跟踪阶段，通过在线稀疏原型跟踪在外观模型上建模，利用正交子空间基向量和琐碎模板组成的原型来稀疏地线性表示被跟踪目标；

基于观测模型和观测似然函数输出遮挡跟踪结果。

在一实施方式中，在离线跟踪阶段，基于图像混合方法将不同图片进行线性叠加，得到第一数量个带有语义信息的复杂背景图片，具体包括：

获取模板图像帧、当前图像帧和预设的加权系数进行线性叠加和图像融合，得到带有语义信息的复杂背景图片。

在一实施方式中，通过在线稀疏原型跟踪在外观模型上建模，具体包括：

标记目标的初始区域，提取相关特征，建立初始的外观模型；

根据上一帧目标的位置预测当前帧目标出现区域的运动模型；

利用所述外观模型验证所述运动模型预测区域是被跟踪目标的区域，得到目标图像区域；

在获取当前帧的目标区域后，提取目标区域和背景区域的图像特征，并基于模型更新算法在线更新所述外观模型。

在一实施方式中，利用正交子空间基向量和琐碎模板组成的原型来稀疏地线性表示被跟踪目标，具体包括：