[发明专利]一种基于RGB‑D传感器的机器人辅助超声扫描系统

摘要

一种基于RGB‑D传感器的机器人辅助超声扫描系统，包括Kinect传感器、机器人、超声探头、标示物和主机，其特征是以Kinect传感器作为机器人的视觉伺服系统，在机器人机械臂上夹持超声探头，在超声探头上固定标示物，采用机器人的视觉伺服系统同时进行RGB彩色图像和深度图像的采集，并将图像传给主机，由主机完成图像拼接、图像三维重构等处理，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行识别和定位，根据识别定位结果计算超声探头位姿，再由主机发出对机器人的控制指令,控制机器人的机械臂到达指定位置进行超声扫描操作。具有结构合理,性能可靠,自动化程度高,检测效率高，成本低等优点。

主权项

一种基于RGB‑D传感器的机器人辅助超声扫描系统，它包括Kinect传感器、机器人、超声探头、标示物和主机，以所述的Kinect传感器作为机器人的视觉伺服系统，在所述的机器人机械臂上夹持所述的超声探头，在所述的超声探头上固定标示物，根据视觉伺服系统采集的图像对，由主机对固定在超声探头的标示物进行实时识别和定位，根据识别定位结果计算超声探头位姿，再通过Kinect坐标系与机器人坐标系的配准，获得机器人的空间位置信息，最后由主机发出对机器人的控制指令,再由主机控制机器人的机械臂到达指定位置进行超声扫描操作，其特征在于：采用标示物的方法实时计算超声探头的3D形貌和位姿，其具体步骤为：首先，从采集的RGB彩色图像中，提取出标示物的特征，生成彩色图像的特征集合；其次，为了实现特征点云数据的自动提取，对点云图像进行深度分割，提取目标区域的点云数据，采用最小二乘拟合方法将目标区域点云投影到深度图像平面上，在深度图像模板中提取深度图像中目标的特征点；然后，将深度图像中的特征点映射到目标区域的点云中，形成特征点云；最后，将特征点云与彩色图像的特征点集合进行特征配准，实现图像拼接及重构操作，并得到标示物的3D空间坐标，并根据几帧图像间的标识物的空间坐标值，计算出标示物的位姿转换矩阵，根据矩阵求得超声探头的当前位姿。