[发明专利]基于可见光图像及深度图像识别技术的加热炉自动上料系统

权利要求书

1.基于可见光图像及深度图像识别技术的加热炉自动上料系统，包括上料台架、挡钢钩、拨钢叉和输送辊道，挡钢钩设置于上料台架一侧，输送辊道用于将钢坯由上料台架输送到拨钢叉，其特征在于：还包括两台景深相机、两套LED光源、自动控制单元和上料台架电控系统，所述两台景深相机安装在上料台架出口两侧，用于拍摄钢坯由上料台架到拨钢叉输送过程中钢坯断面的可见光图像，并计算出可见光图像中各个像素点对应的物体到相机的距离，即同时输出一张可见光图像和与可见光图像对应的深度图像；所述两套LED光源分别靠近一台景深相机设置并对准钢坯断面照射，用于在暗光条件下辅助景深相机的照明；所述自动控制单元与景深相机及上料台架电控系统连接，所述上料台架电控系统与上料台架、挡钢钩、拨钢叉连接；

所述自动控制单元包含图像处理模块、决策模块和通讯模块，所述图像处理模块用于定时触发景深相机进行拍摄，并读取景深相机拍摄到的可见光图像和深度图像，然后并逐帧的对两幅图像进行分析；所述决策模块根据图像处理模块的分析结果生成上料台架和拨钢叉的动作指令；所述通讯模块将决策模块产生的动作指令发送至上料台架电控系统，上料台架电控系统根据动作指令控制上料台架、挡钢钩和拨钢叉动作；

所述图像处理模块包括：

候选模块，用于在可见光图像上使用亮度分割和颜色分割技术进行预分割，从画面中分割出满足预设的钢坯灰度和颜色特征的候选区域Rp；

分割模块，用于对候选区域Rp使用形状匹配技术进行形状匹配和过滤，从画面中分割出满足预设的钢坯形状特征的分割区域Rq；

钢坯区域计算模块，用于在深度图像上计算出Rq所包围区域的距离平均值M和方差Std，对方差Std限幅，限幅值结果为S，从分割区域Rq中去除距离数值小于M-2.58S或大于M+2.58S的区域，得到钢坯区域Rs；

距离信号计算模块，用于根据钢坯区域Rs的分析结果计算出成排钢坯中距离上料台架出口最近的钢坯横截面边缘的位置并根据预设的挡钢钩位置计算出两台景深相机拍摄的图像中钢坯横截面边缘到挡钢钩的距离信号P1；

钢坯信号生成模块，用于结合两个钢坯横截面边缘到挡钢钩的距离信号P1，生成钢坯两端对齐信号S1、钢坯到达出口信号S2，并根据钢坯区域分析结果扫描预设的拨钢叉区域得到拨钢叉上有钢坯信号S3；当两个钢坯横截面边缘到挡钢钩的距离信号P1都小于预设值且两者之差小于预设值时生成钢坯两端对齐信号S1；当两个钢坯横截面边缘到挡钢钩的距离信号P1都大于预设值时生成钢坯到达出口信号S2，预设值是指钢坯两端对齐的偏差值；

所述决策模块包括：

第一S3信号判断模块，用于判断是否收到拨钢叉上有钢坯信号S3，如果是，产生拨钢叉拨钢指令C5，向输送辊道拨钢后再返回循环判断拨钢叉上是否有钢坯；如果否，产生台架驱动装置前进指令C1，台架驱动装置驱动钢坯向前移动；

S1信号判断模块，用于在台架驱动装置驱动钢坯向前移动时，判断是否收到钢坯两端对齐信号S1，如果是，产生挡钢钩降下指令C2；如果否，返回台架驱动装置前进指令C1，台架驱动装置继续驱动钢坯向前移动；

S2信号判断模块，用于在产生挡钢钩降下指令C2后，判断是否收到钢坯到达出口信号S2，如果是，产生台架驱动装置停止指令C3，驱动装置停止，钢坯依靠惯性和自重滑落到拨钢叉上，继续判断是否收到拨钢叉上有钢坯信号S3；如果否，返回挡钢钩降下指令C2；

第二S3信号判断模块，用于在产生台架驱动装置停止指令C3后，判断是否收到拨钢叉上有钢坯信号S3，如果是，说明钢坯已经滑落到了拨钢叉上，产生挡钢钩抬起指令C4，延时产生拨钢叉拨钢指令C5，并返回通过S1信号判断模块判断是否收到钢坯两端对齐信号S1；如果否，返回产生台架驱动装置停止指令C3。

2.如权利要求1所述的基于可见光图像及深度图像识别技术的加热炉自动上料系统，其特征在于：所述景深相机采用双目立体相机、配置激光扫描的可见光相机或者结构光相机。

3.如权利要求1所述的基于可见光图像及深度图像识别技术的加热炉自动上料系统，其特征在于：所述两台景深相机平行于钢坯断面设置。