[发明专利]训练动作规划模型的方法及目标搜索方法

权利要求书

1.一种训练动作规划模型的方法，其特征在于，包括：

获取当前测试图像、目标对象以及当前步数，所述当前步数为从第一张测试图像开始到所述当前测试图像为止，所动作的步数；

获取预测的边界框以及所述目标对象的边界框；其中，所述预测的边界框是基于所述当前测试图像预测得到的；

基于所述预测的边界框以及所述目标对象的边界框的大小关系，确定当前动作规划的奖赏；

将当前测试图像、目标对象以及当前步数输入动作规划模型，预测出下一步动作的概率分布及其对应的奖赏；其中，所述动作规划模型包括策略网络以及价值网络，所述下一步动作的概率分布对应于所述策略网络，所述概率分布对应的奖赏对应于所述价值网络；

根据所述当前动作规划的奖赏、所述下一步动作的概率分布以其对应的奖赏，对所述策略网络以及所述价值网络的进行强化学习，以训练所述动作规划模型；其中，所述动作规划模型用于预测下一步动作。

2.根据权利要求1所述的方法，其特征在于，所述基于所述预测的边界框以及所述目标对象的边界框的大小关系，确定当前动作规划的奖赏，包括：

计算所述预测的边界框与所述目标对象的边界框的交并比；

利用所述交并比以及最大步数，确定所述当前动作规划的奖赏。

3.根据权利要求2所述的方法，其特征在于，所述利用所述交并比以及最大步数，确定所述当前动作规划的奖赏，包括：

利用所述交并比以及所述最大步数，计算主动搜索的奖赏；

获取步数约束的奖赏；

计算所述主动搜索的奖赏与所述步数约束的奖赏之和，得到所述当前动作规划的奖赏。

4.根据权利要求3所述的方法，其特征在于，采用如下公式计算所述主动搜索的奖赏：

其中，R_t为所述主动搜索的奖赏；U_t为所述交并比；C₁、C₂分别为第一常数以及第二常数；t为所述当前步数；T_max为所述最大步数。

5.根据权利要求1所述的方法，其特征在于，所述将当前测试图像、目标对象以及当前步数输入所述动作规划模型，预测出下一步动作的概率分布以其对应的奖赏，包括：

将所述当前测试图像以及所述目标对象的特征结合，并送入长短期记忆网络，以得到所述长短期记忆网络的隐含层信息；其中，所述隐含层信息为所记忆的场景信息；

将所述长短期记忆网络的隐含层信息与所述当前步数的特征结合，形成全局特征；

将所述全局特征分别输入所述价值网络以及所述策略网络，以得到所述下一步动作的概率分布 以及所述概率分布对应的奖赏。

6.根据权利要求1所述的方法，其特征在于，所述策略网络的损失函数为：

L_θ＝J(θ)-αH(π_θ(a_t|s_t))；式中，

其中，L_θ为所述策略网络的损失函数；J(θ)为所述策略网络对应的目标函数；π_θ(a_t|s_t)为所述下一步动作的概率分布；H(π_θ(a_t|s_t)为π_θ(a_t|s_t)的熵；α为控制熵正则化项的强度；V_θ(s_t)为所述概率分布对应的奖赏，A^π(s_t,a_t)为所述策略网络对应的优势函数，所述优势函数由k阶回归和函数逼近估计；γ为折扣系数；r_t为所述当前动作规划的奖赏。