[发明专利]基于机器视觉的AGV目标识别与姿态角解算方法及系统有效
申请号: | 202310031071.7 | 申请日: | 2023-01-10 |
公开(公告)号: | CN115761684B | 公开(公告)日: | 2023-06-16 |
发明(设计)人: | 张贵阳;徐本连;鲁明丽;吉思雨;陆婷;臧书琪;翟树峰;朱玲羽;潘李越云 | 申请(专利权)人: | 常熟理工学院 |
主分类号: | G06V20/56 | 分类号: | G06V20/56;G06V10/25;G06V10/44;G06V10/762;G06V10/82;G06N3/0464;G06N3/048;G06N3/084 |
代理公司: | 常州佰业腾飞专利代理事务所(普通合伙) 32231 | 代理人: | 李嘉宁 |
地址: | 215500 江*** | 国省代码: | 江苏;32 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 基于 机器 视觉 agv 目标 识别 姿态 角解算 方法 系统 | ||
1.一种基于机器视觉的AGV目标识别与姿态角解算方法,其特征在于,包括以下步骤:
S01:AGV运行过程中进行目标检测,确定包含目标特征点的ROI区域;所述目标检测方法包括:
S11:对YOLOv3的主干网络进行重新搭建,搭建连续并行主干网络模型架构,通过连续少量的3×3接收器域提升对微弱特征的学习能力,利用局部响应归一化层降低数据之间的差异,增大特征层中单个元素的感受野来增强特征局部辨识度、以及弱化特征噪声能力,将四个并行残差块卷积层得到的特征图在通道方向进行自适应池化,依次通过全连接层、激活函数进行分类输出;
S12:构建改进型特征融合跨层连接网络结构模型,对深层特征进行卷积逆运算,并与浅层特征相乘,得到多层特征图;
S02:采用双目立体视觉系统对目标进行实时成像;
S03:分别对标志点经双目相机投射后的椭圆锥面进行拟合,同时对标志点所在平面的法向量进行优化求解;
S04:通过最优法向量解算AGV和目标之间的方位角。
2.根据权利要求1所述的基于机器视觉的AGV目标识别与姿态角解算方法,其特征在于,所述S12中改进型特征融合跨层连接网络结构模型包括:
对原始卷积核的行列分布进行逆向塑形,行列逆向塑形后的卷积模块是由两个大小的卷积层组成,计算目标关键的局部特征,每一层均采用ReLU激活函数增加网络的非线性,接着进行批归一化;
模型最底层输出通道数是的特征层,通过多层逆向塑形后的卷积在通道维度上实现逐层和跨层的耦合,将特征生成器最后卷积层得到的特征图在通道方向进行池化,池化层输出的特征继续与其他特征再次融合,并将融合后的特征信息一起传播到下一层网络中。
3.根据权利要求1所述的基于机器视觉的AGV目标识别与姿态角解算方法,其特征在于,所述S03中分别对投射后的椭圆锥面进行拟合包括以下步骤:
S31:基于二维图像像素坐标系,建立像平面的椭圆方程表达式:
其中,点是目标点在像素坐标系下的齐次坐标;是转置表达形式;
矩阵是像平面椭圆拟合参数矩阵,
为拟合参数;
S32:图像像素坐标系和图像实际物理坐标系通过下式进行转换:其中,表示目标点的二维像素坐标,和分别是轴和轴方向上每毫米所包含的像素数量,表示目标图像实际物理坐标原点在像素坐标系下的坐标;
S33:将像素坐标系下的坐标转换到目标图像实际物理坐标下,得:
其中:
;矩阵主对角线元素
,
S34:构建圆形特征面成像后在图像实际物理坐标下椭圆拟合方程:
其中,表示标志点在相机坐标系下的中心坐标,参数矩阵:其中,是一个常数,是相机的焦距;
S35:求得矩阵的三个特征值,且满足条件,对应的特征向量均两两正交;
设矩阵的单位向量为:
其中,,根据空间二次锥面理论,矩阵拟合出的锥面的圆截面为:
其中,为常数,;
S36:将右相机仿照左相机进行相同的操作,得到右相机投射锥面下的圆截面特征向量和。
4.根据权利要求3所述的基于机器视觉的AGV目标识别与姿态角解算方法,其特征在于,所述S03中对法向量进行优化求解的方法包括:
S031:将右相机投射锥面下的圆截面特征向量和变换到左相机的相机坐标系下,得到两个法向量与,其中是圆截面相对于相机坐标系的旋转矩阵,对于左相机而言法向量,;和是左相机投射锥面下的圆截面特征向量;
S032:当椭圆特征点成像时不存在干扰因素时,基于右相机解算出的两个法向量中一定有一个与左相机解算出的两个法向量中的某一个相等,且这一个即为空间圆面的单位法向量,即:
;
S033:计算目标所在圆面前后两次的法向量夹角,求得AGV与目标之间的相对方位信息。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于常熟理工学院,未经常熟理工学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/202310031071.7/1.html,转载请声明来源钻瓜专利网。