[发明专利]机器人系统中的细粒度物体识别

权利要求书

1.一种用于机器人系统中的实例级物体识别的方法，其特征在于，所述方法包括：

从成像设备获取物体的图像；

基于所述物体的图像以及存储在所述机器人系统中的预定义类别级物体图像，通过类别级深度检测神经网络确定所述物体的预定义类别以及多个预定义物体类别；

生成由所述类别级深度检测神经网络确定的物体的预定义类别的特征映射；

使用与所述物体的预定义类别对应的实例级深度检测神经网络，基于特征图生成嵌入特征，其中所述多个预定义物体类别中的每个预定义类别包括对应的不同实例级深度检测神经网络；

基于所述嵌入特征的分类识别所述物体的实例级；

由所述机器人系统基于所述物体的实例级识别情况执行机器人操作。

2.根据权利要求1所述的方法，其特征在于，获取所述物体的图像包括获取所述物体的多个图像，每个图像从不同的透视和/或照明条件获取。

3.根据权利要求2所述的方法，其特征在于，还包括使用深度检测神经网络为所述多个图像的每个图像生成热图，所述热图强调所述多个图像中的类别级物体。

4.根据权利要求3所述的方法，其特征在于，生成所述热图包括为所述多个图像的每个像素生成关注值，其中关注值越高对应于所述像素是感兴趣前景物体的可能性越高。

5.根据权利要求4所述的方法，其特征在于，还包括基于所述热图生成二值物体掩模图像，其中关注值高于阈值的像素被标记为第一逻辑状态，而所有其他像素被标记为与所述第一逻辑状态相反的第二逻辑状态。

6.根据权利要求5所述的方法，其特征在于，还包括基于标记为所述第一逻辑状态的像素从所述掩模图像中提取所述类别级物体。

7.根据权利要求6所述的方法，其特征在于，还包括训练所述深度检测神经网络以识别所述类别级物体的实例级物体包括基于提取的所述类别级物体以及从包含提取所述类别级物体的最小矩形框生成的增强训练数据来识别所述物体的实例级。

8.根据权利要求7所述的方法，其特征在于，生成所述增强训练数据包括：

从所述掩模图像中去除与提取的所述类别级物体相对应的图像像素；

将去除的与提取的所述类别级物体相对应的图像像素嵌入到一组背景场景图像中以生成设置的背景场景图像，而不将所述物体用作增强性训练图像。

9.根据权利要求1-8中任一项所述的方法，其特征在于，还包括通过所述机器人系统部署环境常见的预定义物体类别来训练所述预定义物体类别上的深度检测神经网络。

10.根据权利要求1-8中任一项所述的方法，其特征在于，训练所述深度检测神经网络还包括为每个类别级物体生成前向计算的特征映射。

11.根据权利要求10所述的方法，其特征在于，训练所述深度检测神经网络以识别实例级物体包括：

基于所述前向计算的特征映射生成所述嵌入特征；

调整所述类别级物体检测以基于所述嵌入特征确定所述实例级物体的识别情况。