[发明专利]物体检索装置及物体检索方法

权利要求书

1.一种物体检索装置，其特征在于，具备：

图像特征提取部，该图像特征提取部由第一神经网络构成，输入图像来提取图像特征量；

三维数据特征提取部，该三维数据特征提取部由第二神经网络构成，输入三维数据来提取三维数据特征量；

学习部，该学习部从自同一个体得到的物体的图像和三维数据分别提取图像特征量和三维数据特征量，以减小所述图像特征量与所述三维数据特征量之差的方式更新图像特征提取用的参数；以及

检索部，由使用了更新后的所述图像特征提取用的参数的图像特征提取部来提取物体的查询图像及图库图像的图像特征量，所述检索部计算所述查询图像及图库图像的图像特征量的相似度来检索物体。

2.根据权利要求1所述的物体检索装置，其特征在于，

所述学习部受理在学习中使用的物体的图像、三维数据及注释数据，根据注释数据来识别从同一个体得到的图像和三维数据的对应关系。

3.根据权利要求2所述的物体检索装置，其特征在于，

所述学习部从根据注释数据识别为是从同一个体得到的图像和三维数据分别提取图像特征量和三维数据特征量，根据所提取的图像特征量和三维数据特征量来更新图像特征提取用的参数及三维数据特征提取用的参数。

4.根据权利要求3所述的物体检索装置，其特征在于，

所述图像特征提取用的参数及所述三维数据特征提取用的参数分别是构成第一神经网络或第二神经网络的各神经元的权重和偏置。

5.根据权利要求1所述的物体检索装置，其特征在于，

所述检索部提取物体的查询图像及多个图库图像的图像特征量，根据各图像的图像特征量计算查询图像与各图库图像的相似度，使图库图像以相似度由高到低的顺序显示在显示部。

6.根据权利要求1所述的物体检索装置，其特征在于，

所述学习部使用包含颜色信息的图像和包含颜色信息的三维数据分别提取图像特征量和三维数据特征量来更新图像特征提取用的参数，

所述检索部提取包含颜色信息的物体的查询图像及图库图像的图像特征量，计算所述查询图像及图库图像的图像特征量的相似度来进行检索。

7.根据权利要求1所述的物体检索装置，其特征在于，还具备：

追踪部，该追踪部由第三神经网络构成，输入在时间序列上连续的多个图像，根据各图像的检测结果将相同种类的物体中在空间上距离较近者彼此结合，生成同一个体的在时间序列上连续的多个图像作为追踪数据；以及

追踪数据存储部，该追踪数据存储部存储所述追踪部所生成的追踪数据；

所述检索部使用从所述追踪部及所述追踪数据存储部得到的追踪数据及图像进行物体检索。

8.根据权利要求7所述的物体检索装置，其特征在于，

所述学习部使用注释数据进行学习处理，该注释数据是将从所述追踪部得到的包含同一个体的多张图像的追踪数据和通过三维重建而得的一个三维数据建立了对应关系的数据。

9.一种物体检索方法，其特征在于，

进行学习处理，该学习处理输入从同一个体得到的物体的图像和三维数据，通过第一神经网络对所述图像提取图像特征量，通过第二神经网络对所述三维数据提取三维数据特征量，以减小所述图像特征量与所述三维数据特征量之差的方式更新图像特征提取用的参数，

由使用了更新后的所述图像特征提取用的参数的所述第一神经网络提取物体的查询图像及图库图像的各图像特征量，计算所述查询图像及图库图像的图像特征量的相似度来检索物体。

10.根据权利要求9所述的物体检索方法，其特征在于，

所述图像特征提取用的参数是构成所述第一神经网络的各神经元的权重和偏置。

11.根据权利要求9所述的物体检索方法，其特征在于，

向第三神经网络输入在时间序列上连续的多个图像，根据各图像的检测结果将相同种类的物体中在空间上距离较近者彼此结合，生成同一个体的在时间序列上连续的多个图像作为追踪数据，

进行学习处理，该学习处理输入被汇总为所述追踪数据的同一个体的在时间序列上连续的多个图像、和将相应个体的多个三维数据通过三维重建而得的一个三维数据，通过第一神经网络对于被汇总为所述追踪数据的同一个体的在时间序列上连续的多个图像提取图像特征量，通过第二神经网络对于通过所述三维重建而得的一个三维数据提取三维数据特征量，以减小所述图像特征量与所述三维数据特征量之差的方式更新图像特征提取用的参数，

分别输入将同一个体的在时间序列上连续的多个图像汇总得到的追踪数据作为物体的查询图像及图库图像来检索物体。