[发明专利]一种基于强化学习算法SAC的目标跟踪方法、装置及存储介质

权利要求书

1.一种基于强化学习算法SAC的目标跟踪方法，其特征在于，包括：

获取视频数据；

在视频数据的当前帧中确定搜索区域位置和大小；

判断当前帧是否为第一帧；

响应于当前帧非第一帧，获取当前帧的上一帧的预测结果，根据当前帧的上一帧的预测结果在当前帧裁取图像得到当前帧裁取图像s，将当前帧裁取图像s输入预训练好的actor网络模型进行特征提取，得到输出的预测框；

根据所述预测框对目标进行跟踪，并将预测框作为下一帧的groundTruth；

其中所述actor网络模型的训练方法，包括：

在视频数据的第一帧中确定目标的大小和位置，设置经验池参数；

初始化actor、target_actor,critic1、target_critic1,critic2、target_critic2网络参数；

响应于当前输入帧为第一帧，对actor、target_actor网络进行初始化，

响应于当前帧非第一帧，根据当前帧预测框在当前帧裁取图像，得到预测框裁取图像s'，并计算所述当前帧预测框与当前帧真实框之间的IoU；根据IoU，通过奖励函数计算得到奖励值；

将上一帧的预测结果在当前帧裁取图像s、动作、奖励值、预测框裁取图像s'存入经验池；

根据经验池中存储的数据，通过actor、critic网络计算动作a_t、动作a_t在定义的分布Normal(mu.std)中对应的概率的对数logπ_φ(a|s)；

根据计算得到的动作a_t、动作a_t在定义的分布Normal(mu.std)中对应的概率的对数logπ_φ(a|s)，计算actor、critic1、critic2网络损失，利用强化学习SAC算法更新网络权值。

2.根据权利要求1所述的基于强化学习算法SAC的目标跟踪方法，其特征在于，其中，所述设置经验池参数，包括经验池容量X，表示可以存储X条数据，每一条数据符号为：(s,a,r,s')，其中s表示上一帧的预测结果在当前帧裁取图像、a表示动作、r表示奖励值、s'表示当前帧预测框在当前帧裁取图像。

3.根据权利要求1所述的基于强化学习算法SAC的目标跟踪方法，其特征在于，所述设置经验池参数，包括：根据经验设置经验池容量为X，表示可以存储X条数据符号为：(s,a,r,s')，一条数据包含：在当前帧所裁取1*3*107*107维度图像，1*3维度的动作，1*1的奖励值，当前帧图像采取动作后裁取的1*3*107*107维度图像。

4.根据权利要求1所述的基于强化学习算法SAC的目标跟踪方法，其特征在于，所述初始化actor、target_actor,critic1、target_critic1,critic2、target_critic2网络参数,包括：加载在imageNet预训练好的vgg-M网络的前四层网络参数，并以此作为图片特征提取模型网络，并将actor、critic1,critic2网络参数分别赋值给target_actor、target_critic1,target_critic2网络参数。

5.根据权利要求1所述的基于强化学习算法SAC的目标跟踪方法，其特征在于，响应于当前输入帧为第一帧，对actor、target_actor网络进行初始化，包括：若此帧图片为该视频序列第一帧，最小化actor以及target_actor网络输出和标签之间的误差，损失函数表达式为：

其中μ(s_m|φ^μ)为在groundTruth加入高斯噪声，产生M个样本，经由actor网络处理后输出的预测动作，a_m为标签，是M个样本与groundTruth的真实距离，μ是actor网络，m表示第m个数据；

通过Adam优化器训练actor以及target_actor网络参数。