[发明专利]用于对象检测的方法、装置、系统和计算机可读介质

说明书

针对包括感兴趣对象的图像区域描述了候选区域。使用来自卷积神经网络模型的多个层的特征图谱。在一个示例中，接收并缓冲数字图像。对图像执行卷积层以生成特征图谱。将特征图谱重新整形为单一大小。通过顺序串接来将经重新成形的特征图谱分组以形成组合特征图谱。通过对图像的边界框区域进行评分来使用组合特征图谱生成候选区域。使用特征图谱来检测候选区域中的对象并对其进行分类。

技术领域

本说明书涉及针对机器视觉或图像理解的对象检测领域，并且具体地涉及使用来自卷积神经网络模型的多个卷积层的特征图谱来提议(propose)可能包括感兴趣的对象的图像区域。

背景技术

许多计算机、个人设备、可穿戴设备、和其他计算系统包括图像或视频捕获，或者被配备用于处理图像或视频。随着便携式、加固型、安装式、和台式设备中数字摄像头的普及，相关的期望是以新的方式来使用这些摄像头。其中一些方法通过检测摄像头视野内的对象来发挥作用。一旦识别出对象，就可以根据对象的类别和系统的目的来执行许多不同的操作。

通用对象检测技术自动识别和定位出现在图像或视频帧中的对象的实例。在许多情况下，该技术仅检测属于其他工具感兴趣的特定类别或种类的对象。作为示例，系统可以识别和定位人而非树。同一系统也可以识别和定位特定动物。然后，对象识别系统可以基于动物的类型对每只动物进行分类。对象检测可以被认为是具有广泛范围的不同应用的计算机视觉中的根本任务。这些应用包括场景理解、图像搜索、增强现实、监视、自动驾驶等。这些应用正变得越来越流行和多样化，特别是在移动设备和具有嵌入式摄像头的其他设备上。高精度和高速对象检测在个人、家庭、商业、专业、和工业领域中非常重要。

附图说明

在附图中，通过示例而非限制的方式示出了实施例，在附图中，相同的参考标号表示相似的元件。

图1是根据实施例的示例系统的框图，该系统包括用于特征提取的网络、用于候选区域(region proposal)生成的网络、以及用于对象检测和分类的网络。

图2是根据实施例的图1的网络的端到端联合训练的过程流程图。

图3是根据实施例的具有50个候选的对象检测和分类的比较结果的图表。

图4是根据实施例的具有100个候选的对象检测和分类的比较结果的图表。

图5是根据实施例的具有200个候选的对象检测和分类的比较结果的图表。

图6是根据实施例形成的具有十个候选区域的图像的图示。

图7是根据实施例的对其中的十个候选区域进行对象检测的图6的图像的图示。

图8是根据实施例的区域生成和对象检测的过程流程图。

图9是根据实施例的包括候选区域和对象检测和分类的计算设备的框图。

具体实施方式

使用新颖的超级网络(HyperNet)技术描述了高精度和高速通用对象检测。该对象检测可以适用于深度学习应用。描述了一种鲁棒的超级特征(Hyper Feature)，其将经预训练的卷积神经网络模型的低级、中级、和高级卷积特征图谱组合在整个图像上。首先，超级特征是使用精心设计的网络来提取的。因此，该技术提供了令人印象深刻的良好特征辨别力。将该超级特征用作输入，描述了两种新颖的超级网络架构，一种用于区域建议生成，另一种用于对象检测。最后，候选区域生成和对象检测被集成到统一的超级网络框架中。可以使用新颖的端到端联合训练方法来构建统一的超级网络框架，该方法共享用于生成候选区域和检测对象实例两者的超级特征。这种集成受益于一种新颖的端到端联合训练方法，提出该方法以在两个任务之间共享超级特征。