[发明专利]一种基于深度学习的仿人机械手控制系统及其控制方法

说明书

本发明公开了一种基于深度学习的仿人机械手控制系统及其控制方法，系统包括图像采集模块，用于实现工作场景的图像采集及图像预处理功能；物体检测与识别模块，用于实现对所采集图像中的目标物体进行检测，识别出相应的类别；仿人机械手控制决策模块，用于实现仿人机械手运动轨迹规划，根据上述两个模块的处理结果对目标物体所在位置进行运动决策并实现运动轨迹的自我学习。本发明建立了一种自动化控制系统，能在无人为干预条件下自行工作，提高了机器的智能性，可大范围使用于工厂、车间、物流等需要对物品进行分拣等操作的环境下，具有良好的市场前景与潜在价值。

技术领域

本发明涉及深度学习图像处理及机械臂控制的技术领域，尤其是指一种基于深度学习的仿人机械手控制系统及其控制方法。

背景技术

自上世纪50年代末美国Unimation研发出世界上第一台工业机器人以来，工业机器人的应用就逐渐普及到生活、生产的方方面面，包括但不限于工业生产、组装、海洋探索开发、太空探索、医疗应用等领域，极大程度的改善了人们的生活与工作条件。随着机器人技术的不断发展，机器人已逐渐走向智能化，面向酒店服务、家庭服务的服务型机器人越来越多，相对应的人机交互技术、机器人智能化控制技术等急需研发、改进与完善。

机器视觉检测与控制技术是采用机器视觉、机器手代替人眼、人脑、人手来进行检测、测量、分析、判断和决策控制的智能测控技术，是人类模仿自身视觉感知能力实现自动化测量和控制的重要手段，能够同时满足智慧工厂环境感知和自主控制的多项需求。机器视觉感知控制技术可用于智慧工厂中的精密制造自动化生产线、智能机器人、在线检测装备、细微操作、工程机械、虚拟现实产品设计等多个领域。

人们一直在探索与开发机械自动化、智能化的理论与算法，相继提出的机器学习、深度学习等理论在这方面存在着巨大的应用前景。特别是2012年后深度学习技术逐渐崛起,因为其良好的特征提取表现被应用在了各个领域,如医学图像、自动驾驶、数据分析等。基于深度学习的目标识别与定位是近年来的研究热点，尤其是深度学习中卷积神经网络的发展直接促进了目标识别和定位任务的进步。仿人机械臂视觉抓取系统中基于深度学习的视觉识别可通过对深度卷积神经网络的训练实现多目标快速识别而不必更改识别算法。此外还有应用于机械臂路径规划的强化学习技术，使得机械臂可以在无监督情况下进行自我反馈与学习。尽管如此，尚缺少足够的对一整套完整的智能化程度高的基于深度学习的仿人机械臂作业系统的研究，现有的系统或多或少存在着不足或者弊端。

基于上述研究现状，需要克服工业机器人传统的感知和交互及学习方法存在着任务确定、离线学习、扩展性差、无法适应多变环境等局限，建立基于选择性注意的目标选择感知方法、基于多因素影响的人机交互方法、具有一定适应性的交互行为学习方法，使工业机器人能够在动态的场景中主动地和选择性地感知及处理来自生产工人和生产环境及生产对象的相关信息，在线地和自主地学习交互行为和以往的经验，从而提高工业机器人的作业技能和适应未知或动态环境的能力。本系统便是基于机器视觉与机器学习相关理论在仿人机械手作业方面进行相应实验与研究，以工业机器人的高度智能化为最终实现目标。

发明内容

本发明的目的在于针对仿人机械手本身特点，以及智能控制、智能识别、智能作业的作业需求，考虑到现有技术的不足，提出了一种基于深度学习的仿人机械手控制系统及其控制方法，该系统具有了深度学习与机械臂控制技术紧密结合的特性，大大提高机械臂作业的智能性、自主性，对于机械臂作业的适用范围提升了一定的广度。

为实现上述目的，本发明所提供的技术方案如下：

一种基于深度学习的仿人机械手控制系统，包括：

图像采集模块，用于实现工作场景的图像采集及图像预处理功能；

物体检测与识别模块，用于实现对所采集图像中的目标物体进行检测，识别出相应的类别；