[发明专利]行人视觉跟踪方法、模型训练方法、装置、设备及存储介质

说明书

本申请涉及预测模型领域，可预测视频流帧图像中的行人边界框，预测准确性较高。具体公开了一种行人视觉跟踪方法、模型训练方法、装置、计算机设备及存储介质，该跟踪方法包括：获取当前帧的行人边界框和若干历史帧各自的边界框动作向量，所述历史帧为所述当前帧之前的帧；基于行人跟踪模型的特征提取子网络，对所述行人边界框内的目标行人图像进行特征提取以获取所述目标行人图像的隐特征向量；基于所述行人跟踪模型的预测子网络，根据所述隐特征向量和所述若干历史帧各自的边界框动作向量预测所述当前帧的边界框动作向量；根据所述当前帧的行人边界框和所述当前帧的边界框动作向量预测所述当前帧之后一帧的行人边界框。

技术领域

本申请涉及目标跟踪技术领域，尤其涉及一种行人视觉跟踪方法、模型训练方法、装置、计算机设备及存储介质。

背景技术

利用视频进行行人跟踪是视频分析领域的一个重要的研究内容，其通过算法分析视频帧序列来对视频流中的行人进行定位和跟踪，在智能安防、智慧交通、反恐预警、自动驾驶等领域有着广泛应用。目前的行人视觉跟踪方法，通常通过预选多个备选框然后通过相似度判定哪个备选框内最可能包括目标行人；在实际视频场景中受光照和遮挡影响明显，且由于目标尺度变化容易引起较大的跟踪误差，效果不佳。

发明内容

本申请实施例提供一种行人视觉跟踪方法、模型训练方法、装置、计算机设备及存储介质，能够较佳地实现预测视频流中帧图像的行人边界框，以实现视觉跟踪，提高了预测、追踪的准确性。

第一方面，本申请提供了一种行人视觉跟踪方法，所述方法包括：

获取当前帧的行人边界框和若干历史帧各自的边界框动作向量，所述历史帧为所述当前帧之前的帧；

基于行人跟踪模型的特征提取子网络，对所述行人边界框内的目标行人图像进行特征提取以获取所述目标行人图像的隐特征向量；

基于所述行人跟踪模型的预测子网络，根据所述隐特征向量和所述若干历史帧各自的边界框动作向量预测所述当前帧的边界框动作向量；

根据所述当前帧的行人边界框和所述当前帧的边界框动作向量预测所述当前帧之后一帧的行人边界框。

第二方面，本申请提供了一种行人跟踪模型训练方法，所述方法包括：

初始化行人跟踪模型，所述行人跟踪模型包括特征提取子网络和预测子网络；

获取第一训练视频，所述第一训练视频包括若干标注有行人边界框和边界框动作向量的图像帧；

将当前图像帧行人边界框内的目标行人图像输入所述特征提取子网络，以获取所述目标行人图像的隐特征向量；

将所述当前图像帧对应的隐特征向量和若干历史帧各自标注的边界框动作向量输入所述预测子网络，以预测所述当前图像帧的边界框动作向量，所述历史帧为所述当前图像帧之前的图像帧；

根据所述当前图像帧标注的行人边界框和所述当前图像帧预测的边界框动作向量预测所述当前图像帧之后一图像帧的行人边界框；

计算所述当前图像帧之后一图像帧预测的行人边界框和标注的行人边界框的重叠率；

根据所述重叠率和预设的损失函数计算损失值，并根据所述损失值调整所述行人跟踪模型中的参数。

第三方面，本申请提供了一种行人视觉跟踪装置，所述装置包括：

输入获取模块，用于获取当前帧的行人边界框和若干历史帧各自的边界框动作向量，所述历史帧为所述当前帧之前的帧；

特征提取模块，用于基于行人跟踪模型的特征提取子网络，对所述行人边界框内的目标行人图像进行特征提取以获取所述目标行人图像的隐特征向量；