[发明专利]训练动作规划模型的方法及目标搜索方法

说明书

本发明涉及目标搜索技术领域，具体涉及训练动作规划模型及目标搜索的方法，方法包括：获取当前测试图像、目标对象以及当前步数；获取预测的边界框以及目标对象的边界框；基于预测的边界框以及目标对象的边界框的大小关系，确定当前动作规划的奖赏；将当前测试图像、目标对象以及当前步数输入动作规划模型，预测出下一步动作的概率分布及其对应的奖赏；根据当前动作规划的奖赏、下一步动作的概率分布以其对应的奖赏，对策略网络以及价值网络的进行强化学习。在预测的边界框以及目标对象的实际边界框的基础上，确定当前动作规划的奖赏；利用预测结果对策略网络以及价值网络进行强化学习，以使得策略网络以及价值网络达到最优，具有较高的搜索效率。

技术领域

本发明涉及目标搜索技术领域，具体涉及训练动作规划模型的方法及目标搜索方法。

背景技术

目标搜索(检测与定位)这一任务是计算机视觉的基础任务，其目的是根据给出的图片找出图片中的目标物体，并给出其位置及其边界框等信息。这一任务在现实生活中可以应用于智慧交通，智能安防等方面。

近年来，随着人工智能与深度学习的发展，使得传统的目标搜索任务在性能与速度上都取得了显著性的成果。然而，由于摄像机安装在固定的位置，其只能被动地接收视觉信息，这将会导致传统的目标搜索任务受到摄像机设置的制约。例如，目标离摄像头较远，摄像头难以检测到该目标；或者，目标对象超出摄像头的可视范围等等。这些将会导致目标搜索任务是在单个图像上孤立地执行的，影响目标搜索的效率。

发明内容

有鉴于此，本发明实施例提供了一种训练动作规划模型的方法及目标搜索方法，以解决目标搜索的效率较低的问题。

根据第一方面，本发明实施例提供了一种训练动作规划模型的方法，包括：

获取当前测试图像、目标对象以及当前步数；

获取预测的边界框以及所述目标对象的边界框；其中，所述预测的边界框是基于所述当前测试图像预测得到的；

基于所述预测的边界框以及所述目标对象的边界框的大小关系，确定当前动作规划的奖赏；

将当前测试图像、目标对象以及当前步数输入所述动作规划模型，预测出下一步动作的概率分布及其对应的奖赏；其中，所述动作规划模型包括策略网络以及价值网络，所述下一步动作的概率分布对应于所述策略网络，所述概率分布对应的奖赏对应于所述价值网络；

根据所述当前动作规划的奖赏、所述下一步动作的概率分布以其对应的奖赏，对所述策略网络以及所述价值网络的进行强化学习，以训练所述动作规划模型；其中，所述动作规划模型用于预测下一步动作。

本发明实施例提供的训练动作规划模型的方法，通过在预测的边界框以及目标对象的实际边界框的基础上，确定当前动作规划的奖赏，再将确定出的奖赏结合到下一步动作的预测中；利用预测结果对策略网络以及价值网络进行强化学习，以使得策略网络以及价值网络达到最优，从而能够保证训练得到的动作规划模型在对目标进行主动搜索的基础上，具有较高的搜索效率。

结合第一方面，在第一方面第一实施方式中，所述基于所述预测的边界框以及所述目标对象的边界框，确定所述动作规划的奖赏，包括：

计算所述预测的边界框与所述目标对象的边界框的交并比；

利用所述交并比以及最大步数，确定所述当前动作规划的奖赏。

本发明实施例提供的训练动作规划模型的方法，在当前动作规划的奖赏的设计中，通过最大步数的约束，使得训练得到的动作规划模型能够在尽量少的步数的情况下，准确地搜索到目标，从而进一步提高了搜索的效率。

结合第一方面第一实施方式，在第一方面第二实施方式中，所述利用所述交并比以及最大步数，确定所述当前动作规划的奖赏，包括：

利用所述交并比以及所述最大步数，计算主动搜索的奖赏；