[发明专利]对图像内目标物体进行自动标注的方法、装置及系统

说明书

本申请实施例公开了对图像内目标物体进行自动标注的方法、装置及系统，该方法包括：获得图像训练样本，其中包括多幅图像，各幅图像是对同一目标物体进行拍摄获得的，且相邻的图像之间存在相同的环境特征点；将其中一幅图像作为基准图像，并确定基准坐标系，基于所述基准三维坐标系创建三维空间模型；在所述三维空间模型被移动到所述基准图像内目标物体所在的位置时，确定所述目标物体在所述基准三维坐标系中的位置信息；根据所述各幅图像中的环境特征点确定出的各自对应的相机姿态信息，将所述三维空间模型分别映射到各幅图像的像平面。通过本申请实施例，能够更准确有效的进行图像自动标注，并提高方法的通用性。

技术领域

本申请涉及图像处理技术领域，特别是涉及对图像内目标物体进行自动标注的方法、装置及系统。

背景技术

在AR/VR等相关的业务中，利用机器学习方法在图像中进行场景/物体的识别应用广泛，而在机器学习过程中，需要用到大量的图像训练样本，并需要对图像训练样本中的目标物体进行标注。所谓的标注也就是指，需要标注出目标物体在图像中的位置，以便机器学习时从目标物体的图像中进行特征提取进行学习。

现有技术中，图像训练样本的标注主要分为两种，一种是基于二维图像的标注，另一种是基于物体CAD模型的三维图像标注。所谓二维图像标注主要是指在二维图像中标注目标物体所在的矩形区域，该过程通常需要由工作人员通过手工标注的方式来完成。例如，参见图1-1所示，需要工作人员在各个图像中手动框选出目标物体所在的位置。但是，手工标注的效率会很低，在图像训练样本众多的情况下，需要耗费大量的人力以及时间成本去进行标注。

基于物体CAD模型的三维图像标注，则主要是将预先拍摄的视频中的各帧作为图像训练样本，首先获得目标物体的CAD模型，例如，参见图1-2，当视频中的目标物体为一辆汽车时，需要首先获得该汽车的CAD模型，然后，在其中一帧图像中人为标注CAD模型中的多个点与目标物体对应的特征点之间的对应关系。随后可以利用model-based tracking通过跟踪目标物体以进行批量标注，跟踪的过程具体是利用标注出的目标物体的特征点，在其他帧图像中识别出目标物体所在的位置。这种在3D空间中的标注方法较之二维图像标注自动化程度高，可实现标注视频中的一帧进而自动标注整个视频的目的。同时，自动标注本身对标注精度也有统一量化标准，较之人为标注更加精确。然而，其缺点也十分明显，即通常情况下，目标物体的CAD模型通常是由目标物体的生产或者设计方提供，但是，如果生产或者设计方无法提供CAD模型，则会无法利用上述方式实现自动标注，而且在实际应用中，这种现象又是很常见的，也即，很难获取目标物体的CAD模型，因此，影响了这种方法的通用性。其次，即使能够找到目标物体的CAD模型，由于对目标物体的跟踪通常情况下依赖物体上有足够多的特征点，但是，当物体本身是纯色、高反光或透明等情况时，model-basedtracking将无法保证其足够的准确性，进而影响自动标注的效果。

因此，如何更准确有效的进行图像自动标注，并提高方法的通用性，成需要本领域技术人员解决的技术问题。

发明内容

本申请提供了对图像内目标物体进行自动标注的方法、装置及系统，能够更准确有效的进行图像自动标注，并提高方法的通用性。

本申请提供了如下方案：

一种对图像内目标物体进行自动标注的方法，包括：

获得图像训练样本，其中包括多幅图像，各幅图像是对同一目标物体进行拍摄获得的，且相邻的图像之间存在相同的环境特征点；

将其中一幅图像作为基准图像，并确定基准坐标系，基于所述基准三维坐标系创建三维空间模型；

在所述三维空间模型被移动到所述基准图像内目标物体所在的位置时，确定所述目标物体在所述基准三维坐标系中的位置信息；