[发明专利]基于3D视觉的图像数据在线采集系统及方法

说明书

本发明公开了一种基于3D视觉的图像数据在线采集系统及方法，该系统包括：智能3D相机、机器人装置和图像采集装置；输入接口用于供图像采集装置接收智能3D相机采集的图像数据和机器人装置的状态信息；输出接口用于将图像采集装置的控制指令发送至智能3D相机和将计算得到的目标物料的抓取点的位姿信息发送至机器人装置；智能3D相机根据接收到的控制指令执行图像采集工作并将采集到的图像数据传输至图像采集装置；机器人装置根据接收到的位姿信息将目标物料转移至物料传送系统。本发明的基于3D视觉的图像数据在线采集系统及方法，实现图像数据采集去工人化，且在数据采集的同时能够进行正常的生产活动，维持生产线正常运转。

技术领域

本发明涉及一种基于3D视觉的图像数据在线采集系统及方法。

背景技术

随着国内制造业转型升级和企业降本增效的推进，越来越多加工型企业引入了自动化设备，实现机器换人。在自动化改造过程中，3D视觉起着至关重要的作用。3D视觉作为工业机器人的“眼睛”，结合深度学习算法识别定位场景中的物体，并引导机器人完成抓取。3D视觉在拆码垛领域的应用极为广泛，如农副食品加工业(粮食、饲料加工)、化工行业(化肥、化工原料生产)、建材行业(混凝土、耐火砖生产)等等。在这些场景中，3D视觉结合深度学习模型用于识别袋子、物体的表面形状(圆形、方形、梯形)并计算出物体的6D位姿。在实际应用中，物体识别定位的准确率在很大程度上取决于深度学习模型训练的准确率。为了提高深度学习模型训练的准确率，通常需要在生产场景中采集大量的图像数据用于深度学习模型的训练。传统的图像数据采集方式需要工人配合完成，图像数据采集效率低下，而且影响生产活动的正常进行。例如在饲料加工厂中，需要采集不同光照条件下、饲料堆垛在不同状态下的袋子图像，每采集一张图像需要工人配合从堆垛中拆下一袋饲料，然后再采集下一张图像，依次完成图像采集。另外，在耐火砖生产线改造中，如果没有深度学习模型，就无法实现耐火砖的自动搬运，所以需要提前采集图像数据进行模型训练。但事先没有耐火砖样品供图像数据采集使用，只能在产线投入使用时才能开始采集图像数据，导致搬运后续生产环节处于停滞状态。

发明内容

本发明提供了一种基于3D视觉的图像数据在线采集系统及方法，采用如下的技术方案：

一种基于3D视觉的图像数据在线采集系统，包含：

智能3D相机，用于采集视野中目标区域的图像数据；

机器人装置，用于对堆垛输送系统输送过来的目标物料进行抓取并将其搬运至物料传送系统；

图像采集装置，用于接收图像采集人员的操作从而控制智能3D相机和机器人装置；

图像采集装置通过输入接口和输出接口与智能3D相机和机器人装置进行信息交互；

输入接口用于供图像采集装置接收智能3D相机采集的图像数据和机器人装置的状态信息；

输出接口用于将图像采集装置的控制指令发送至智能3D相机和将计算得到的目标物料的抓取点的位姿信息发送至机器人装置；

智能3D相机根据接收到的控制指令执行图像采集工作并将采集到的图像数据传输至图像采集装置；

机器人装置根据接收到的位姿信息将目标物料转移至物料传送系统。

进一步地，图像采集装置包括：

用户交互单元，用于接收图像采集人员的输入操作；

相机控制单元，用于设定智能3D相机的拍照参数以及控制3D相机进行拍照；

通讯模块，用于图像采集装置与智能3D相机和机器人装置之间的数据和指令的传输；

图像存储模块，用于存储智能3D相机采集到的图像数据；

图像显示模块，用于显示和查看智能3D相机的2D视野以及采集到的图像数据；