[发明专利]基于3D卷积孪生神经网络和模板更新的目标跟踪方法

说明书

本发明公开了一种基于3D卷积孪生神经网络和模板更新的目标跟踪方法，首先训练神经网络，由给定的初始目标位置在视频序列的第一帧图片上截取并传入神经网络生成目标模板；对于当前跟踪任务进行到的时刻t对应的视频序列图片，以时刻t‑1所得到跟踪结果为中心截取出不同尺寸的搜索区域，再以目标模板为卷积核对搜索区域进行卷积运算得到响应图；计算出响应图的APCE参数，生成t+1时刻的响应图；计算响应图的APCE参数判断是否保留，最终得到整个视频的跟踪结果，生成视频序列中每一帧图片中目标的位置信息，完成跟踪任务。本发明解决了现有技术中存在的对于跟踪中物体外表形变鲁棒性较差的问题。

技术领域

本发明属于基于视频的单目标跟踪技术领域，具体涉及一种基于3D卷积孪生神经网络和模板更新的目标跟踪方法。

背景技术

单目标跟踪是指，对于一组视频序列，指定出在第一帧时目标所在位置后，根据目标跟踪算法计算出该目标在后续帧中的位置的过程。单目标跟踪时计算机视觉领域的一个重要研究方向，它旨在使得计算机能够拥有人类对于目标的持续捕捉的能力。而以深度学习为基础的基于孪生神经网络的目标跟踪算法是当前的一个主流研究方向，其成果在科研领域与生活应用中都起到重要作用。

目标跟踪算法在日常生活中用途广泛，无论在智能监控、无人驾驶、交通监视、医学诊断等领域中都扮演着重要的角色。在军事上也发挥着如无人机视觉、精确制导、空中预警等重要作用。

近些年来，深度学习算法的发展迅猛，并且不断与各种新兴或传统领域进行融合，促进相互的发展。于是，深度学习与目标跟踪算法的结合也成为了近期的研究热点。其中基于孪生神经网络结构的算法是主流方向。通过使用第一帧给出的目标图像生成模板，对后续的图像进行卷积运算，结果中的最大值就是目标最可能所在的位置。这种类型的算法往往都具有均衡的性能，但其缺点是模板没有得到更新，无法适应外观不断发生变化的目标，从而造成目标的丢失。

发明内容

本发明的目的是提供一种基于3D卷积孪生神经网络和模板更新的目标跟踪方法，解决了现有技术中存在的对于跟踪中物体外表形变鲁棒性较差的问题。

本发明所采用的技术方案是，基于3D卷积孪生神经网络和模板更新的目标跟踪方法，具体按照以下步骤实施：

步骤1、训练神经网络，由给定的初始目标位置在视频序列的第一帧图片上截取并传入神经网络生成目标模板；

步骤2、对于当前跟踪任务进行到的时刻t对应的视频序列图片，以时刻t-1所得到跟踪结果为中心截取出不同尺寸的搜索区域，再以目标模板为卷积核对搜索区域进行卷积运算得到响应图；

步骤3、根据步骤2得到响应图，计算出响应图的APCE参数，如果达到阈值则说明跟踪效果较好，根据t时刻跟踪结果在t时刻对应视频序列中的图片上截取出目标图片，存入可靠集合V；

步骤4、如果可靠集合V存满，即长度为2，则将可靠集合V中保留的跟踪结果与步骤1中的初始目标模板共同传入3D孪生神经网络的模板分支得到混合了三帧目标信息的更新模板；

步骤5、使用混合后的更新模板对t+1时刻对应的视频序列中的图片继续跟踪任务，生成t+1时刻的响应图；

步骤6、再计算出步骤5得到的响应图的APCE参数判断是否保留，若保留则将可靠集合V中最老的图片进行替换，不断重复以上步骤直至跟踪结束，最终得到整个视频的跟踪结果，生成视频序列中每一帧图片中目标的位置信息，完成跟踪任务。

本发明的特点还在于，

步骤1采用3D卷积神经网络结构，3D卷积神经网络结构共分为五层，每层分别由卷积层和池化层组成，3D卷积神经网络结构的卷积核尺寸分别为：

第一层：1*11*11；

第二层：1*5*5；

第三层：1*3*3；