[发明专利]一种基于多源信息融合的机器人抓取方法和装置

摘要

本发明涉及一种基于多源信息融合的机器人抓取方法和装置，方法包括获取待抓取物体的RGB图像、光流图像和深度图像；分别对RGB图像、光流图像和深度图像进行特征提取，对应获得各个特征；将RGB特征、光流特征和深度特征输入多源信息融合模块，输出获得待抓取物体的融合特征；将融合特征输入物体姿态预测模块，通过物体姿态预测模块对对待抓取物体进行分类，并回归出待抓取物体的抓取位置信息；根据所预测待抓取物体的抓取位置信息，抓取待抓取物体；根据触觉传感器感知触觉信息，判断是否抓取成功。与现有技术相比，本发明充分考虑机器人抓取的复杂环境，有效地提高了机器人对运动物体的抓取能力，具有精度高、鲁棒性好等优点。