[发明专利]基于物体检测的物体操作指令跟随学习方法及装置

摘要

本发明公开了一种基于物体检测的物体操作指令跟随学习方法及装置，该方法包括：构建物体操作指令数据集；获取目标场景中所有物体的物体检测框和对应的检测框参数，以及物体检测框的图像特征；通过比对网络将物体检测框的图像特征与物体操作指令数据集中的物体操作指令的文本特征进行比对，得到物体操作指令对应的抓取物体、参考物体和放置方位；根据得到的抓取物体、参考物体、放置方位以及物体检测框对应的检测框参数，生成抓取位置、抓取角度以及放置位置。该方法解决了现有物体抓取方法无法接受人类指令约束的问题，可以将指令跟随和物体抓取结合在一起，实现物体操作指令跟随任务。