[发明专利]基于深度强化学习的人体正面跟踪方法

说明书

本发明公开了一种基于深度强化学习的人体正面跟踪方法，包括以下步骤：S1：搭建多种Unreal Engine 4虚拟环境用于训练和测试；S2：构建卷积神经网络和Actor‑Critic网络；S3：卷积神经网络的输入为跟踪者的观察视角，训练网络模型，直到模型收敛；S4：在UE4虚拟测试场景中测试跟踪效果；S5：将经过测试达到要求的模型迁移到现实场景中。不同于以往跟踪工作中必须分别实现人体检测和相机控制两个功能模块，本发明使用端到端的主动式跟踪方法将上述两个模块整合，不需要进行人体检测，输入跟踪者视角的视频流，直接输出对跟踪最有效的动作，省去了传统人体跟踪的复杂流程。

技术领域

本发明涉及计算机视觉和机器学习技术领域，具体涉及人体跟踪领域，可 用于一系列的智能服务机器人、无需人为配合的人脸或虹膜采集系统等，具体 涉及一种基于深度强化学习的人体正面跟踪方法。

背景技术

人体跟踪是指以连续的视频序列作为输入，从复杂环境中精确地检测出人 体的位置并进行跟踪的过程。现实生活中的商场监控、交通管制等领域中，摄 像头一般处于静止状态，即跟踪背景在一定时间段内不会发生变化，称为静态 人体跟踪，该方法多用于功能简单、环境单一的跟踪识别领域。近年来社会发 展对人体跟踪提出了新的要求，当摄像头搭载在移动机器人上发生位置变化时， 摄像头抓取到的图像背景是不断变化的，被称为动态人体跟踪。后者是目前人 体跟踪领域的主要攻克难点。动态人体跟踪技术不仅在科学研究中有重要意义， 还在诸多社会领域具有实用价值。

计算机技术的蓬勃发展将可能会使越来越多的低智能的、无需人为过分干 预的服务行业被智能机器人代替。如商场导购：移动智能机器人抓取实时视频 序列，首先通过人体检测获取到顾客的准确位置，然后进行人体跟踪，考虑到 人与人沟通的舒适性，一般需要机器人移动到被服务人员的正面进行面对面的 交流，这样可以提升服务质量，增加被服务人员的幸福感。同时，其他应用如 陪护机器人、教育服务机器人和家庭服务机器人等也会得到广泛的发展。

随着GPU等硬件运算力的不断发展，基于深度学习的方法逐渐显示出不可 比拟的优势。如果能将深度强化学习应用于人体跟踪中，将进一步提升人体跟 踪的实时性和高效性。

发明内容

本发明的目的是提出一种基于深度强化学习的人体正面跟踪方法，通过将 视频序列作为输入，无需进行人体检测，直接输出跟踪者需要采取的动作，以 实现端到端的主动式正面人体跟踪。本发明利用低成本无需标注的虚拟环境进 行训练，丰富的数据有效抑制了训练卷积神经网络过程中易出现的过拟合问题， 从而获得更好的泛化能力以及应对在非可控场景中的应用。。

为实现本发明的目的，本发明提供的一种基于深度强化学习的人体正面跟 踪方法，该方法的具体步骤包括：

步骤S1，搭建UE4虚拟训练和测试环境，包括丰富的光照变化、背景和人 体表面纹理的变化；

步骤S2，构建卷积神经网络并联结Actor-Critic网络；

步骤S3，将跟踪者的视角以视频流的方式输入到步骤S2构建的网络中，直 到成功跟踪时间达到300秒以上，即模型收敛；

其中，强化学习算法通过自动学习最大化最终奖励值实现正面跟踪，下 式为设定的奖惩函数：

其中，r为模型对跟踪者所的每一个执行动作所给出的奖惩值，A为人为设 定的奖惩值上限，△x和△y表示目标与跟踪者之间在x轴和y轴的偏移量，d 为目标与跟踪者之间期望维持的理想距离，ω和θ分别为跟踪者和目标要实现正 对对方需要旋转的角度，c、λ和β为规范化参数；

步骤S4，使用UE4虚拟测试环境测试按照步骤S3的方法训练好的模型， 输出成功跟踪时间；

步骤S5，为了验证模型在真实世界中的表现，将在虚拟环境中测试后达到 要求的模型迁移到现实场景中，根据输出的成功跟踪时间，配合人为的观察评 定跟踪效果。