[发明专利]物体自动识别方法以及系统、购物设备和存储介质

权利要求书

1.一种物体自动识别方法，包括：

获取第一图像和第二图像，所述第一图像和所述第二图像均包含物体，所述第二图像为深度图像；

基于所述第一图像，提取所述物体的特征点；

基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到联合特征；以及

基于所述联合特征，识别所述物体；

基于来自所述第一图像的所述特征点和所述第二图像的深度信息，以得到所述联合特征，包括：

基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征；以及

融合所述三维特征和所述特征点，以得到所述联合特征，

其中，基于所述特征点和所述第二图像的深度信息，计算所述物体的三维特征，包括：

基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系；以及

根据所述特征点的三维坐标系，计算与所述特征点对应的三维特征；

其中，与所述特征点对应的三维特征包括表面形状特征描述子，

根据所述特征点的三维坐标系，计算与所述特征点对应的三维特征，包括：

根据所述特征点，确定所述物体的特征表面，其中，所述特征表面包括多个特征描述点和所述特征点，所述多个特征描述点为所述特征表面的除了所述特征点之外的像素点；

计算所述多个特征描述点在所述三维坐标系中的坐标；

计算所述特征点在所述三维坐标系中的坐标分别与所述多个特征描述点在所述三维坐标系中的坐标之间的多个差值，将所述多个差值作为所述表面形状特征描述子。

2.根据权利要求1所述的物体自动识别方法，其中，基于所述第一图像，提取所述物体的特征点，包括：

获取所述第一图像的目标区域，在所述目标区域内包括所述物体；以及

提取所述目标区域内的所述物体的特征点。

3.根据权利要求2所述的物体自动识别方法，其中，获取所述第一图像的目标区域，包括：

对所述第一图像进行图像分割处理，以得到所述第一图像的目标区域；或者

对所述第二图像进行图像分割处理，以得到所述第二图像的深度目标区域；对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；以及基于所述配准信息和所述深度目标区域，得到所述第一图像的目标区域。

4.根据权利要求1所述的物体自动识别方法，其中，基于所述特征点和所述第二图像的深度信息，建立所述特征点的三维坐标系，包括：

对所述第一图像和所述第二图像进行配准操作，以得到所述第一图像和所述第二图像之间的配准信息；

基于所述特征点和所述配准信息，计算所述特征表面的多个特征描述点的三维信息；以及

基于所述多个特征描述点的三维信息和所述特征点，建立所述特征点的三维坐标系。

5.根据权利要求4所述的物体自动识别方法，其中，基于所述多个特征描述点的三维信息和所述特征点，建立所述特征点的三维坐标系，包括：

根据所述多个特征描述点的三维信息，计算在所述特征点处的法向量，所述法向量的方向作为所述三维坐标系的第一轴方向；以及

根据所述法向量，得到在所述特征点处的切平面以及在所述切平面上的所述特征点的两个主曲率的主方向，所述两个主曲率的主方向相互垂直，且所述两个主曲率的主方向分别作为所述三维坐标系的第二轴方向和第三轴方向。

6.根据权利要求1所述的物体自动识别方法，其中，融合所述三维特征和所述特征点，以得到所述联合特征，包括：

将所述三维特征的维度和所述特征点的维度进行融合处理，以得到所述联合特征。

7.根据权利要求1所述的物体自动识别方法，其中，基于所述联合特征，识别所述物体，包括：

基于所述联合特征，利用分类器计算所述物体为不同类别时的多个得分数；以及

根据所述多个得分数，确定所述物体的识别结果。

8.根据权利要求7所述的物体自动识别方法，还包括：

输出所述物体的识别结果。