[发明专利]一种基于视觉识别的全自动餐具分拣方法在审
申请号: | 201811498303.5 | 申请日: | 2018-12-08 |
公开(公告)号: | CN109684942A | 公开(公告)日: | 2019-04-26 |
发明(设计)人: | 郭一晶;刘丽;高凤强;邱义;康尹琪;陈翔;李金明;林明哲;黄斯奇 | 申请(专利权)人: | 厦门大学嘉庚学院 |
主分类号: | G06K9/00 | 分类号: | G06K9/00;B25J9/16 |
代理公司: | 福州元创专利商标代理有限公司 35100 | 代理人: | 蔡学俊 |
地址: | 363105 *** | 国省代码: | 福建;35 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 分拣 餐具 视觉识别 检测器 串口 抓取 传递信息 控制指令 实时视频 数字图像 图像信息 信息通过 机械臂 分检 摄入 信息流 摄像机 自动化 输出 计算机 分类 | ||
1.一种基于视觉识别的全自动餐具分拣方法,其特征在于:包括以下步骤:
步骤S1:采集流水线上历史经过的多幅餐具图片,并对其进行人工标注,形成训练数据集;
步骤S2:利用步骤S1的训练数据集训练YOLOv3目标检测器;
步骤S3:采集流水线上的实时视频信息流,并将其输入上位机形成数字图像,对数字图像进行预处理后传入步骤S2训练好的YOLOv3目标检测器中进行分类识别和区域标记;
步骤S4:根据步骤S3中YOLOv3目标检测器的输出结果形成控制指令,控制机械臂的运动对餐具进行分拣。
2.根据权利要求1所述的一种基于视觉识别的全自动餐具分拣方法,其特征在于:步骤S1中,所述人工标注的标注内容包括每幅图片的餐具类别信息和位置信息。
3.根据权利要求1所述的一种基于视觉识别的全自动餐具分拣方法,其特征在于:步骤S1中,采用LabelImg标注工具给210张图片进行标注作为训练数据集,制作VOC格式的xml文件以及设置对应的配置文件,数据包含5类:碗、杯子、盘子、勺子和茶碟;同时将每张图转换为YOLO格式的txt文件。
4.根据权利要求1所述的一种基于视觉识别的全自动餐具分拣方法,其特征在于:步骤S4中,对机械臂的控制具体为:根据识别餐具的类别信息,决定机械臂的目标放置位置;根据识别餐具的大小信息,决定机械臂的夹持部张开的大小;根据识别餐具的位置信息,决定机械臂起始的位置。
5.根据权利要求4所述的一种基于视觉识别的全自动餐具分拣方法,其特征在于:所述根据识别餐具的位置信息,决定机械臂起始的位置的计算采用下式:
机械臂起始的位置=目标放置位置-(识别餐具的起始位置+机械臂移动时间*传送带的速度)*精度修调。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于厦门大学嘉庚学院,未经厦门大学嘉庚学院许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201811498303.5/1.html,转载请声明来源钻瓜专利网。