[发明专利]物体检索装置及物体检索方法

说明书

目的在于构成如下物体检索装置：在对有形状、凹凸特征的物体的检索中，能够仅通过图像将这些信息表达为特征量而进行准确的检索。构成为具备：图像特征提取部，由第一神经网络构成，输入图像来提取图像特征量；三维数据特征提取部，由第二神经网络构成，输入三维数据来提取三维数据特征量；学习部，从自同一个体得到的物体的图像和三维数据分别提取图像特征量和三维数据特征量，以减小所述图像特征量与所述三维数据特征量之差的方式更新图像特征提取用的参数；及检索部，该检索部由使用了更新后的所述图像特征提取用的参数的图像特征提取部提取物体的查询图像及图库图像的图像特征量，计算查询图像及图库图像的图像特征量的相似度来检索物体。

技术领域

本发明涉及物体检索装置及物体检索方法。

背景技术

作为相似物体检索的用途，有监视系统。例如在将检索对象设为人物的情况下，使用人物检索，能够对监视者的可疑人员追踪提供辅助。另外，例如在将检索对象设为货物的情况下，使用货物检索，能够从映现在别处的照相机的图像内的货物中追踪到被遗弃的货物或可疑的货物，确定其所有者。在这样的用途中，优选的是同一人物、同一货物等同一个体出现在检索结果的靠前位置，要求高精度的检索。

作为本技术领域的背景技术，有日本特开2009-27393号公报(专利文献1)。在该公报中，记载了：一种影像监视系统，具有从一台以上的照相机等拍摄设备获取信号的影像获取部、和保持影像获取部所获取到的输入图像的图像数据部，其中，具有：条件指定部，根据输入图像指定人物特征、时间、照相机；图像检索部，通过图像识别从保持于图像数据部的输入图像群中检索出与条件指定部指定的条件一致的图像；及结果显示部，显示图像检索部的结果；具备通过用户指定或人物追踪的方法选择条件指定部指定的多个人物特征并将其加入到条件指定部的检索条件中的单元。

现有技术文献

专利文献

专利文献1：日本特开2009-27393号公报

专利文献2：日本特开2015-176484号公报

发明内容

发明所要解决的课题

作为进行监视系统所需的高精度检索的方法，有专利文献1、专利文献2所记载的方法。在专利文献1中，提出了使用图像的检索方法。近些年经常使用向卷积神经网络(Convolutional neural network、CNN)输入图像并提取特征量，计算特征量的相似度的方法。在该方法中，对于同一个体，准备照明环境、物体在图像内的位置、大小不同的各种图像，针对这些图像学习CNN以提取相似的特征量。通过该学习，CNN相对于图像的各种变化变得鲁棒，能够进行高精度检索。另外，在专利文献2中，提出了使用三维模型的检索方法。在使用三维模型的检索中，针对包含深度信息的图像或点群数据，使用局部二值模式(LBP)等经典的特征提取、神经网络(NN)进行特征量的提取，并与图像同样地计算特征量的相似度。通过使用三维模型，能够将难以从图像中提取的形状、凹凸特征提取出来，能够提高检索的精度。

专利文献1所记载的使用图像的检索以及专利文献2所记载的使用三维数据的检索虽然有用，但都留下了课题。在使用图像的检索中，由于图像中不包含物体的立体的形状、凹凸信息，因此包括这些信息在内都无法进行检索。因而，例如，在存在颜色与检索对象相似、但凹凸图案有所差异的多个货物的情况下，通过使用图像的检索就很可能得出错误的检索结果。在使用三维数据的检索中，为了进行精度高的检索，需要准确的三维信息。深度照相机在能够获取拍摄对象的准确的三维数据的距离上是有限制的，根据监视范围的不同，需要大量的深度照相机。由此，会产生深度照相机的设置成本的问题。另外，三维数据与图像相比所要处理的数据量增加，因此特征提取较为耗费时间。

针对这样的课题，本发明提出一种从图像推断可从三维数据得到的包括形状、凹凸信息在内的特征量来进行特征提取的方法。目的在于使用本发明构成这样一种物体检索装置：在对有形状、凹凸特征的物体的检索中，能够仅通过图像将这些信息表达为特征量而进行准确的检索。