[发明专利]基于目标检测的机械臂倒液任务中液位检测控制方法

说明书

本发明涉及一种基于目标检测的机械臂倒液任务中液位检测控制方法。其包括如下步骤：步骤1、构建所需的目标检测模型；步骤2、利用目标检测模型对所获取的当前倒液图像进行目标检测，以得到当前倒液图像内一液体的器内液体检测框信息以及容器检测框信息；根据器内液体检测框信息内的器内液体检测框坐标以及相应容器检测框信息内的容器检测框坐标，确定倒液任务中一透明盛液容器的容器当前液位值；步骤3、根据容器当前液位值以及预设的期望液位值调节机械臂当前的倒液状态，直至容器当前液位值与期望液位值匹配。本发明能有效实现机械臂倒液时的液位检测与控制，鲁棒性强。

技术领域

本发明涉及一种液位检测控制方法，尤其是一种基于目标检测的机械臂倒液任务中液位检测控制方法。

背景技术

随着人工智能相关理论与技术的不断发展，机械臂作为服务机器人的角色逐渐进入了人们的日常生活。近年来，对于第三产业(即服务业)，基于观赏性、体验性的需要，以及对协助残障人士时的便利性等存在的要求，机械臂的应用在多个方面，如茶艺机器人，调酒机器人以及助残机器人等。现阶段，为增强服务机械臂完成相关日常生活任务(ActivitiesofDaily Living，ADL)的能力和交互能力，加装相机几乎已成标配。

目前，机械臂倒水是服务机器人的基本任务之一。机械臂倒水，即利用机械臂对液瓶定位抓取至容器处进行液体倾倒的过程。倒水时，如何对液位进行及时的检测和控制，实现液体进行定量倾倒或防止液体满溢，是现阶段机械臂倒水问题的难点。

对于机器人操作环境中的液位检测，有研究通过有使用声觉传感器进行容器内空气柱检测从而获取液位，具体可参考公开文献：Liang H,Zhou C,Li S,et al.Robustrobotic pouring using audition and haptics[C]//2020IEE E/RSJ InternationalConference on Intelligent Robots and Systems(IROS).IEEE,2020:10880-10887。此外，通过长短期记忆网络(Long-Short Term Memor y,LSTM)进行倒水液柱图像预测，具体可参考公开文献：Schenck C,Fox D.Visual closed-loop control for pouring liquids[C]//2017IEEE International Co nference on Robotics and Automation(ICRA).IEEE,2017:2629-2636。然而，上述倒水液位检测时，还需要额外的深度相机或热成像仪进行辅助，且对于深度相机或热成像仪的放置位置有较高的要求，对于透明液体和透明容器无泛化性。即基于结构化实验环境，对于其他环境或者倒水情形泛化性不强。

相较于其他各种传感器检测方法，使用机械臂自身配装的相机或加装简单相机进行视觉检测，从实施上来说显然是最为经济易行的方案。基于视觉目标检测的液位检测工作，前人研究重点多在某种特定结构化场合中，如输液点滴液位检测，舱底水液位检测等。对袋装点滴液位进行视觉检测的案例，通过传统的图像处理算法，对液位图像做差分，具体点滴容量检测说明可参考公开号为CN107437244A的说明。

对液位线区域进行标注生成相应数据集，训练R-CNN网络模型对液位信息进行预测的做法，具体预测方法说明可参考公开号为CN110428416A的说明。对于YOLO系列模型，有案例使用YOLOv2对液位进行自动识别，具体识别方法说明可参考乔人杰公开的参考文献：基于视觉的液位自动识别跟踪设计[D].哈尔滨工程大学,2018，其需要使用钢尺进行辅助识别，通过视觉中钢尺刻度的匹配来获得液位线的高度。此外，通过YOLOv5估计舱底水液位，具体识别方法说明可参考王坤等公开的参考文献：王坤,房玉吉,刘华龙,刘帅,余淞洋.基于YOLO-v5和ResNet的舱底水液位识别算法[J].船海工程,2020,49(06):39-43，其需要使用多步预处理算法进行感兴趣区域(Regions of Interest,ROI)提取，耗时且只能针对舱底水透明液体，对于其他液体和容器无泛化性，对于相机角度等要求较高。