[发明专利]机器人系统中的细粒度物体识别

说明书

公开了一种用于机器人系统中的细粒度物体识别的方法，所述方法包括：从成像装置获取物体的图像；基于所述图像，使用深度类别级检测神经网络检测预定义的物体类别；为所述深度类别级检测神经网络检测到的每个预定义物体类别生成特征映射；基于所述特征映射，使用与所述物体的预定义类别对应的深度实例级检测神经网络生成嵌入特征，其中物体的每个预定义类别包括对应的不同实例级检测神经网络；基于所述嵌入特征的分类确定所述物体的实例级。

相关申请案交叉申请

本申请要求于2017年3月3日递交的发明名称为“机器人系统中的细粒度物体识别”的第15/449,541号美国非临时专利申请案的在先申请优先权，该在先申请的内容以引入的方式并入本文。

发明内容

本发明涉及机器人系统，尤其涉及用于家庭服务机器人的深度检测嵌入网络中的细粒度物体识别。

背景技术

家庭服务机器人的一个重要功能是能够识别小型室内物体，例如杯子、盘子、控制器、手机、钥匙和瓶子。然而，由于某些物体的个性化以及由此产生的细粒度识别问题，导致对小物体很难识别。

在特定家庭中需要家庭服务机器人识别的物体可能被用户个性化，所述物体具有独特的特性。独特的物体更难以检测和识别。例如，家庭服务机器人不仅需要识别电视控制器类别、杯子类别或鞋子类别，还需要区分这些类别内的不同实例。也就是说，机器人需要能够区分不同控制器、不同型号手机、不同形状、尺寸和颜色的杯子或不同尺寸、款式、纹理和颜色的鞋子。

发明内容

现描述各种示例从而以简化的形式引入概念的选择，这些概念将在以下具体实施方式中进行进一步的描述。本发明内容的目的不在于识别权利要求书保护的主题的关键或必要特征，也不在于限制权利要求书保护的主题的范围。

示例1是一种用于机器人系统中的实例级物体识别的方法，所述方法包括：从成像设备获取物体的图像；基于所述物体的图像以及存储在所述机器人系统中的预定义类别级物体图像，通过类别级深度检测神经网络确定所述物体的预定义类别以及多个预定义物体类别；生成由所述类别级深度检测神经网络确定的物体的预定义类别的特征映射；使用与所述物体的预定义类别对应的实例级深度检测神经网络，基于所述特征图生成嵌入特征，其中所述多个预定义物体类别中的每个预定义类别包括对应的不同实例级深度检测神经网络；基于所述嵌入特征的分类识别所述物体的实例级；并且由所述机器人系统基于所述物体的实例级识别情况执行机器人操作。

在示例2中，示例1的主题可选地包括：其中，获取所述物体的图像包括获取所述物体的多个图像，每个图像从不同的透视和/或照明条件获取。

在示例3中，示例2的主题可选地包括使用深度检测神经网络为所述多个图像的每个图像生成热图，所述热图强调所述一个或多个图像中的类别级物体。

在示例4中，示例3的主题可选地包括：其中，生成所述热图包括为所述一个或多个图像的每个像素生成关注值，其中关注值越高对应于所述像素是感兴趣前景物体的可能性越高。

在示例5中，示例4的主题可选地包括基于所述热图生成二值物体掩模图像，其中关注值高于阈值的像素被标记为第一逻辑状态，而所有其他像素被标记为与所述第一个逻辑状态相反的第二逻辑状态。

在示例6中，示例5的主题可选地包括基于标记为所述第一逻辑状态的像素从所述掩模图像中提取所述预定义的物体类别。

在示例7中，示例6的主题可选地包括训练所述深度检测神经网络以识别所述类别级物体的实例级物体包括基于所述提取的类别级物体以及从包含所述提取类别级物体的最小矩形框生成的增强训练数据来识别所述物体的实例级。