[发明专利]一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法

说明书

本发明公开了一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法，本发明提供了一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法，该机器人系统利用工业深度相机获取RGB‑D深度点云信息，对口腔空间环境进行识别处理，采用深度学习算法，确定舌尖与咽喉深部的三维坐标作为双臂的期望坐标，基于moveit功能包，完成移动双臂的协同运动规划，机器人控制系统则是基于ROS系统开发，通过人机交互控制与ROS无线通信，实现远程控制及实时监控功能。本发明能够避免医护人员与患者体内传染物直接接触，监控双臂机器人完成繁杂的咽拭子采样过程，并确保较高的执行精度与成功率，避免患者出现采样过程受伤等意外风险。

技术领域

本发明属于视觉控制领域，涉及一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法。

背景技术

鉴于新型冠状病毒具有人际传播能力，而经呼吸道飞沫和密切接触为其主要的传播途径。目前核酸检查是新型冠状病毒的主要检测手段，必须对患者进行咽拭子采样，在其过程中，需要与病患近距离接触，由于患者呼吸，咳嗽所产生得大量病毒传染物，不利于医务人员的身体健康，且咽拭子采样复杂，医务人员的心情也会影响到拭子的采样质量。

介于目前情况，急需有一款针对咽拭子采样的智能机器人，能够避免医务人员与患者直接接触，降低医护人员感染率。

发明内容

本发明提供了一种基于机器视觉引导的咽拭子双臂采样机器人及采样方法，其目的在于，通过该机器人自主完成复杂的咽拭子采样和归纳任务，避免医务人员直接与患者接触，并实时远端监控。

本发明提供的技术方案如下：

一方面，一种基于机器视觉引导的双臂机器人咽拭子采样方法，包括以下步骤：

步骤1：咽拭子采样准备，双臂机器人夹取压舌板和纯净棉签；

步骤2：患者口腔场景建模，利用深度相机扫描患者口腔环境，获取口腔点云数据，构建口腔三维场景；

步骤3：基于端到端的深度PointNet++网络进行口腔场景分割与定位；

对构建的口腔场景采用PointNet++网络进行分割，获取舌头、牙齿、扁桃体、上颚器官的分割图，并对分割图进行定位，获得舌头与扁桃体的空间位置坐标，并作为双臂机器人的双臂采样期望坐标；

步骤4：基于双臂采样期望坐标，调用moveit功能包对双臂机器人的双臂进行运动规划，获得双臂运动轨迹；

步骤5：利用获得的双臂运动轨迹，控制双臂机器人的双臂到达采样期望坐标进行采样。

进一步地，所述对构建的口腔场景采用的端到端的PointNet++网络进行分割，获取舌头、牙齿、扁桃体、上颚器官的分割图的具体过程如下：

步骤3.1：首先依据PointNet++网络构建pointnet_sem_seg网络代码，执行python训练代码，并安装pytorch深度学习框架，载入三维口腔点云数据集，训练PointNet++网络获取权重；

其中，训练集点数为4096，batchsize＝16，epoch＝200,learning_rate＝0.01，学习率设置为每经过20步衰减0.5倍，训练数据为深度相机读取到的口腔点云数据，输出的点云分割结果使用MeshLab软件可视化；

步骤3.2：利用训练好的PointNet++网络，输入采集的口腔点云，获取到点云分割后提取出舌头部位点云和扁桃体部位点云，以点云的表面中心坐标为最佳的目标点作为机械臂期望坐标位置，同时使用深度相机对该目标点计算三维距离(Xc,Yc,Zc)；

所述PointNet++网络包括级联的多尺度PointnetSAModuleMSG和上采样网络PointnetFPModule；