[发明专利]一种基于计算机视觉的砖垛智能装车系统及其装车方法

说明书

本发明公开了一种基于计算机视觉的砖垛智能装车系统及其装车方法，包括图像采集模块、视觉识别模块、控制模块、执行模块。图像采集模块通过工业相机采集砖垛和车厢的实时图像，通过采集的图像，视觉识别模块获取砖垛和车厢的位姿信息，控制模块处理实时的位姿信息，控制执行模块逐层抓取砖垛放置到货车车厢中。本发明通过视觉识别模块对砖垛和车厢位置进行精准识别，控制执行模块逐层将砖垛抓取放置到车厢的预定位置，该方法解决了现有技术中以人工进行砖垛的搬运装车时，存在效率低下、装车成本高、工人劳动强度大的问题。

技术领域

本发明涉及砖垛运输领域，尤其是一种基于计算机视觉的砖垛智能装车系统及其装车方法。

技术背景

砖块经砖窑烧制完后需进行装车，由于砖块在烧制过程中因高温气流的影响会发生一定角度的偏移,一些砖块位姿发生变化,导致传统自动化设备无法对其进行准确抓取完成装车任务,目前主要是通过人工方式进行卸砖和装车。在卸砖过程中存在劳动强度大、高温、灰尘重等问题,严重影响劳动者的安全和健康,同时也大大降低了砖块的生产效率。

随着计算机视觉和深度学习理论的不断发展，利用工业相机，使各种工业环节的实现智能化变成现实。因此将通过计算机视觉的方法对砖垛进行识别和定位,并获取砖垛位姿信息,从而引导夹取机构对砖垛进行抓取,实现砖垛的自动化装车。

发明内容

为了消除人工进行砖垛装车过程中的安全隐患，提高砖垛装车的效率。本发明提供了一种基于计算机视觉的智能砖垛装车方法。

本发明的目的是通过以下技术方案实现的：

一种基于计算机视觉的砖垛智能装车系统，包括：

图像采集模块，包括布置在砖垛上方的辅助光源和工业相机，用于实时地采集砖垛和货车车厢的图像，并将数据传输到视觉识别模块。

视觉识别模块，对采集的图像进行标注，建立训练样本集，基于深度学习算法构建视觉检测模型。训练完成后，将实时采集的图像输入视觉识别模块，获取砖垛和车厢的准确位姿信息。

控制模块，将砖垛和车厢的位姿信息，转换为PLC可识别的三维坐标信息，基于预先设计的抓取逻辑，控制执行模块逐层逐垛抓取砖垛放置到车厢中的预定位置。

执行模块，包括支撑机构、传动机构、旋转机构、升降机构、夹取机构，支撑机构上装有红外线检测器。

进一步地，所述的图像采集模块，即在支撑机构上方架设的辅助光源和工业相机，根据实时的环境光照强度，自动调节辅助光源，确保采集图像的亮度保持一致。采用高清工业相机采集砖垛和货车车厢的图像，通过GigE或USB数据线传输图像。

进一步地，所述的图像采集，在于采集各个层数(高度)的砖垛图像，以及各种位姿的车厢图像，打上标签后分类放置图像，建立初始训练样本集。

进一步地，所述的砖垛图像训练样本集构建方法，在于利用数据增强技术，对初始训练样本集进行旋转、比例缩放、裁剪、移位、颜色变换、添加噪声处理，对初始训练样本集和基于数据增强得到的砖垛图像进行分类画框标注，建立训练样本集。

进一步地，所述的深度学习算法，在于基于vgg，resnet,inception等特征提取网络，结合注意力机制与多尺度融合等优化方法，提取砖垛图像的位姿特征信息。

其中，所述的注意力机制，在于引入空间域注意力、通道注意力、混合域注意力、位置注意力等特征提取方法，重新分配特征信息的权重，优化特征提取网络。

其中，所述的多尺度融合方法，在于构建多尺度输入、多尺度特征融合、多尺度特征预测等网络结构，提高网络对于多尺度特征信息的提取能力。

进一步地，结合所述的训练样本集构建方法和特征提取网络及优化方法，将训练样本集作为输入源，建立基于YOLO和Faster RCNN等目标检测网络的视觉检测模型。