[发明专利]一种基于深度学习的仿人机械手控制系统及其控制方法

权利要求书

1.一种基于深度学习的仿人机械手控制系统，其特征在于，包括：

图像采集模块，用于实现工作场景的图像采集及图像预处理功能；

物体检测与识别模块，用于实现对所采集图像中的目标物体进行检测，识别出相应的类别；

仿人机械手控制决策模块，用于实现仿人机械手运动轨迹规划，根据上述两个模块的处理结果对目标物体所在位置进行运动决策并实现运动轨迹的自我学习；

所述物体检测与识别模块包含物体检测与识别方法和物体检测与识别模型，其中：

所述物体检测与识别方法使用深度学习方法，使用公开数据集COCO、VOC2007、CIFAR-100、ImageNet进行模型的训练，使用基于Faster-RCNN方法的网络进行模型构建，采用RPN+CNN+ROI结构对图像进行处理与训练，针对特定的类别进行识别效果提升实验；

所述物体检测与识别模型采用卷积神经网络CNN进行构建，包含卷积层、池化层、全连接层和激活层；对于一张输入的图片，先由卷积层通过卷积核对图片进行卷积操作，得到图片中局部区域的特征信息，通过卷积核在图片中的滑动操作获得整张图片的特征信息，卷积核的移动方向是从左往右每次移动1个步长stride，当到达图片右边缘时则回到最左边并往下移动1个步长stride，实际使用时，能够根据需要更改卷积核、步长的大小；池化层紧接卷积层，通过对卷积层的特征信息进行小区域的特征提取以降低整张图片的数据维度，从而降低对图片进行训练的难度以及复杂度；全连接层处于卷积层的末端，将经过卷积层与池化层处理的图像的特征信息进行整合以便于进行分类与预测；区域建议网络RPN在卷积网络CNN之后，根据卷积结果用一个3*3的滑动窗口生成一个长为256维度的全连接特征后分为两个全连接层reg-layer和cls-layer，其中前者用于预测中心点坐标和高宽、后者用于判定是前景还是背景；区域建立网络RPN处理结果与卷积神经网络CNN的结果一并输入到感兴趣区域池化层ROI pooling layer，该层实现从原图区域映射到RPN区域最后池化到固定大小的功能；网络最后的损失函数使用smooth L1 loss；

所述仿人机械手控制决策模块包括仿人机械手控制器硬件模块和卷积神经网络运动决策模块，其中：

所述仿人机械手控制器硬件模块为由两个机械手臂和承载该两个机械手臂的承载架组成的仿人机械手，仿照人手臂外形，机械手臂的每只手掌具有五指结构，手臂每个关节由一个转动电机控制，共六个转动电机，即机械手臂具有6个自由度；

所述卷积神经网络运动决策模块，基于物体检测与识别模块的结果进行运动轨迹的规划，利用深度强化学习进行运动轨迹优化与学习任务，快速、准确运动到目标物体坐标点进行目标物体的移动、分拣任务；基于物体检测与识别模块的处理结果，仿人机械手根据当前各个关节信息与图像特征信息进行组合，作为电机控制层的信息输入，仿人机械手上位机接收此信息并根据关节差值控制仿人机械手每个关节运动到对应的关节角度完成一次仿人机械手的整体运动过程，深度强化学习网络根据仿人机械手的运动结果不断进行关节角度的学习优化过程并最终完成完美平稳地移动目标物体的任务。

2.根据权利要求1所述的一种基于深度学习的仿人机械手控制系统，其特征在于：所述图像采集模块利用Kinect v2为主体的计算机视觉模块进行图像采集工作，获取RGB图像，并进行图像预处理工作，裁剪图片使得单张图片像素大小为1000*800。

3.一种权利要求1或2所述基于深度学习的仿人机械手控制系统的控制方法，其特征在于，包括以下步骤：

S1、图像采集模块利用Kinect v2摄像头进行仿人机械手工作环境的目标物体图像采集，对采集到的图像进行预处理操作，单张图片大小限制在1000*800像素，再将图像输入至物体检测与识别模块；

S2、物体检测与识别模块首先利用深度学习相关知识、基于Faster-CNN方法，对公开数据集COCO、VOC2007、CIFAR-100、ImageNet进行物体检测与识别模型的训练，得到误差达到规定要求的物体检测与识别模型，利用此模型对图像采集模块采集到的图像进行物体检测与识别，得到物体的类别与在图像中的位置，并将识别结果输入到仿人机械手控制决策模块；

S3、仿人机械手控制决策模块基于深度强化学习方法，由当前仿人机械手各关节的关节角及目标物体的位置信息组合输入到仿人机械手上位机，仿人机械手上位机接收此信息并根据关节差值控制仿人机械手每个关节运动到对应的关节角度完成一次仿人机械手的整体运动过程，深度强化学习网络根据仿人机械手的运动结果不断进行关节角度的学习优化过程并最终完成完美平稳地移动目标物体的任务。