[发明专利]一种基于计算机视觉的砖垛智能装车系统及其装车方法

权利要求书

1.一种基于计算机视觉的砖垛智能装车方法，采用基于计算机视觉的砖垛智能装车系统，包括：

图像采集模块，包括布置在砖垛上方的辅助光源和工业相机，用于实时地采集砖垛和货车车厢的图像，并将数据传输到视觉识别模块；

视觉识别模块，将实时采集的图像输入视觉识别模块，获取砖垛和车厢的准确位姿信息；

控制模块，将砖垛和车厢的位姿信息，转换为PLC可识别的三维坐标信息，基于预先设计的抓取逻辑，控制执行模块逐层逐垛抓取砖垛放置到车厢中的预定位置；

执行模块，包括支撑机构、传动机构、旋转机构、升降机构、夹取机构，支撑机构上装有红外线检测器；

包括以下步骤：

步骤S1：工业相机采集砖垛和车厢的图像，将图像传输至视觉识别模块；

步骤S2：将实时采集的图像输入视觉识别模块，得到砖垛和车厢的位姿信息以及砖垛的层数；

步骤S3：控制模块将位置信息和层数转换为三维坐标信息，通过PLC控制夹取机构逐一抓取当前层的砖垛；

步骤S4：待当前层的砖垛全部抓取完成，并放置到车厢的预定位置后，控制模块对图像识别模块发送通信指令，进行下一层砖垛的图像采集；

步骤S5：待窑车的砖垛全部抓取完成，采集下一层的图像时，无砖垛被识别，则控制模块发送指令，当前窑车的砖垛已经全部装车；

所述的视觉识别模块，首先对采集的图像进行标注，建立训练样本集，基于深度学习算法构建视觉检测模型；

所述的训练样本集的构建方法，利用数据增强技术，扩充训练样本集的多样性，增加目标检测模型的鲁棒性；结合特征提取网络及优化方法，将训练样本集作为输入源，建立视觉检测模型；

所述的视觉识别模块，根据实时采取的图像，获取砖垛和车厢的位姿信息，并抠取视觉检测模型中砖垛预测框的图像，训练用于砖垛层数识别的分类网络；

所述的分类网络，基于得到的砖垛预测框的图像，提取预测框的面积、旋转矩阵长宽比、检点检测数特征值，使用聚类、无监督学习的方法，对不同层数的砖垛图像进行分类，实现砖垛的层数识别，获取当前层砖垛的高度信息；

其特征在于，

建立视觉检测模型的方法，按照以下步骤进行：

步骤S1：采集第1层至第15层的砖垛图像，分辨率为5072*3098，每一层采集50张，打上标签后分类放置，组成原始训练数据集；

步骤S2：对原始训练数据集进行数据增强，采用旋转、比例缩放、裁剪、移位、颜色变换、添加噪声处理方法，将原始的数据集扩大10倍，对原始训练数据集和基于数据增强得到的砖垛图像进行分类画框标注，建立训练样本集；

步骤S3：对训练样本集中的图像进行resize操作，形成多尺度的输入图像；

步骤S4：将多尺度的图像输入到resnet151主干网络中，首先，训练集的图像逐批次地输入卷积层，进行特征提取；

步骤S5：将基于卷积层提取到的特征，输入到池化层，进行全局平均池化，得到1*1*Channel的特征张量T1；

步骤S6：将得到的特征张量T1输入到全连接层，压缩通道数，进行降维，然后接入ReLU函数，最后输入全连接层，恢复原始的维度，得到特征向量T2；

步骤S7：将得到的特征张量T2，接入sigmoid函数，生成通道间的权重值，乘上原始的输入特征，得到基于通道注意力的特征信息；

步骤S8：最后采用多个尺度的预测结果进行平局值融合；

步骤S9：基于YOLOv3目标检测网络框架进行训练，训练完成后得到目标检测网络模型和训练样本集中目标的定位与识别情况；

步骤S10：将训练后的目标视觉检测模型，布置到嵌入式模型中，建立视觉检测模型。

2.根据权利要求1所述的一种基于计算机视觉的砖垛智能装车方法，其特征在于，所述的训练样本集，利用数据增强技术，对采集到的图像进行旋转、比例缩放、裁剪、移位、颜色变换、添加噪声处理，对采集和基于数据增强得到的砖垛图像进行分类画框标注，建立训练样本集。