[发明专利]物体自动识别方法以及系统、购物设备和存储介质

说明书

一种物体自动识别方法、物体自动识别系统、购物设备和计算机可读存储介质。该物体自动识别方法包括：获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；基于所述第一图像，提取所述物体的特征点；基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到联合特征；基于所述联合特征，识别所述物体。

技术领域

本公开的实施例涉及一种物体自动识别方法、物体自动识别系统、购物设备和计算机可读存储介质。

背景技术

随着人工智能的发展，计算机视觉逐渐应用于人们的日常生活中。计算机视觉是通过对采集得到的图片和/或视频进行处理，以识别图片和/或视频中的各种物体。计算机视觉可以用于物体自动识别(例如，商品识别等)等场景。目前，物体自动识别的方法通常仅基于物体的二维图像(例如，灰度或彩色图像)，对物体做出识别。由于二维图像易受到光照、视角、噪声等因素的影响，物体自动识别的可靠性在复杂场景下不能得到保证。

发明内容

本公开至少一实施例提供一种物体自动识别方法，其包括：获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；基于所述第一图像，提取所述物体的特征点；基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到联合特征；以及基于所述联合特征，识别所述物体。

例如，在本公开一些实施例提供的物体自动识别方法中，基于所述第一图像，提取所述物体的特征点，包括：获取所述第一图像的目标区域，在所述目标区域内包括所述物体；以及提取所述目标区域内的所述物体的特征点。

例如，在本公开一些实施例提供的物体自动识别方法中，获取所述第一图像的目标区域，包括：对所述第一图像进行图像分割处理，以得到所述第一图像的目标区域；或者对所述第二图像进行图像分割处理，以得到所述第二图像的深度目标区域；对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；以及基于所述配准信息和所述深度目标区域，得到所述第一图像的目标区域。

例如，在本公开一些实施例提供的物体自动识别方法中，基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到所述联合特征，包括：基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征；以及融合所述三维特征和所述特征点，以得到所述联合特征。

例如，在本公开一些实施例提供的物体自动识别方法中，基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征，包括：基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系；以及根据所述特征点的三维坐标系，计算与所述特征点对应的三维特征。

例如，在本公开一些实施例提供的物体自动识别方法中，基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系，包括：对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；根据所述特征点，确定所述物体的特征表面；基于所述特征点和所述配准信息，计算所述特征表面的特征描述点的三维信息；以及基于所述特征描述点的三维信息和所述特征点，建立所述特征点的三维坐标系。

例如，在本公开一些实施例提供的物体自动识别方法中，基于所述特征描述点的三维信息和所述特征点，建立所述特征点的三维坐标系，包括：根据所述特征描述点的三维信息，计算在所述特征点处的法向量，所述法向量的方向作为所述三维坐标系的第一轴方向；以及根据所述法向量，得到在所述特征点处的切平面以及在所述切平面上的所述特征点的两个主曲率的主方向，所述两个主曲率的主方向相互垂直，且所述两个主曲率的主方向分别作为所述三维坐标系的第二轴方向和第三轴方向。

例如，在本公开一些实施例提供的物体自动识别方法中，根据所述特征点的三维坐标系，计算与所述特征点对应的三维特征，包括：计算所述特征表面的特征描述点在所述三维坐标系中的坐标；以及根据所述特征点在所述三维坐标系中的坐标和所述多个特征描述点在所述三维坐标系中的坐标，计算与所述特征点对应的三维特征。