[发明专利]用于人物识别的方法和系统

说明书

一种用于人物识别的方法和系统，其中，所述方法包括：提供具有以下各项的卷积神经网络(CNN)：特征提取层(1200)、联接到所述特征提取层(1200)的关注区域(ROI)建议层(1300)和联接到所述ROI建议层(1300)的人物识别层(1400)，所述ROI建议层(1300)和所述人物识别层(1400)被同步训练；通过所述特征提取层(1200)从图像提取特征图；通过所述ROI建议层(1300)从已提取的特征图裁剪出含有候选人物的ROI；以及通过所述人物识别层(1400)根据预设目标人物图像识别所裁剪出的ROI中所含的所述候选人物。

技术领域

本公开涉及用于人物识别的方法和系统。

背景技术

人物识别的目的在于识别图像中的人物。这是个快速发展的技术领域，且在视频监控和多媒体方面具有许多实际应用，例如但不限于人物检索、交叉相机视觉跟踪以及活动分析(activity analysis)。人物识别因视角、位姿、光照条件、遮挡、分辨率、背景和相机设置等的复杂变化而尤其具有挑战性。

尽管近年来已提出人物识别框架，且这些框架的性能已改进，但所提出的框架与实际应用之间仍存在很大差距。在大多数现有框架中，通过比较候选人物组中手动裁剪出的人物与预设目标人物而非在整个图像中搜索目标人物来实施人物识别。通过使用实施这些框架的协议，已开发的人物识别方法假设能从背景中完美地挑出人物。举例来说，可通过手动预设限界框来选择候选人物。然而，进行限界框标注在现实世界情境中不可用。

现有人物识别方法可能很难消除一些误报、误检和错位，因而不利于总体人物识别结果。在这些情形下，这些人物识别方法的效率和准确性相对较低。因此，需要一种更有效的人物识别方法。

发明内容

下文呈现对本公开的简化概述，以便提供对本公开的一些方面的基本理解。此概述并非本公开的详尽综述。此概述既不标识本公开的重要或关键要素，也不划定本公开的特定实施方式的任何范围或权利要求书的任何范围。其唯一目的是以简化形式呈现本公开的一些概念，以作为稍后呈现的更详细描述的序言。

为了至少部分地解决上述问题中的一个问题，在本申请的一个方面中提出一种用于识别图像中的人物的端到端深度学习方法。所述方法包括：通过卷积神经网络(CNN)的特征提取层从图像提取特征图；通过联接到特征提取层的ROI建议层(ROI proposal layer)从已提取的特征图裁剪出含有候选人物的ROI；以及通过联接到ROI建议层的人物识别层根据目标人物的预设图像识别所裁剪出的ROI中所含的候选人物，其中，ROI建议层和人物识别层被同步训练。通过同步训练ROI建议层和人物识别层，会带来若干益处。一方面，已学习的ROI建议层允许一些能够很容易地由人物识别层处理的误报。另一方面，ROI建议层和人物识别层彼此更好地配合以输出更准确的结果。

在本申请的一个实施方式中，裁剪包括将所裁剪出的ROI池化(pool)为具有固定长度的特征向量。

在本申请的一个实施方式中，人物识别层还包括限界框回归层，所裁剪出的ROI包含与候选人物重叠的限界框，且识别包括通过限界框回归层移动边界以增强与候选人物的重叠。

在本申请的一个实施方式中，识别还包括对所裁剪出的ROI进行降采样处理以加速识别。

在本申请的一个实施方式中，人物识别层包括随机采样softmax(RSS)损失层，且人物识别层的训练包括：根据目标人物的预设图像，对第一训练集中的多个训练人物图像和所述训练人物图像的背景进行评分；根据训练人物图像和背景的得分，从第一训练集中选择子集，其中，所述子集包括目标人物和背景；建立包括所述子集中的人物图像和背景的得分的第二训练集；通过RSS损失层基于第二训练集确定损失和梯度；以及反向传播所确定的损失和梯度以调整人物识别层的参数，直到损失和梯度收敛为止。