[发明专利]一种基于双深度相机的腧穴定位方法

权利要求书

1.一种基于双深度相机的腧穴定位方法，其特征在于，包括如下步骤：

使用全局相机获取人体图像并进行骨架提取、姿态匹配，确定目标腧穴所在肢体区域；

使用手眼相机依次获取目标腧穴所在肢体图像，并判断肢体类别；

对于手部图像，采用基于openpose深度学习网络进行手部关键点检测，将得到的关键点位置信息结合指寸法确定手部腧穴位置；

对于手臂图像，对图像进行预处理、拐点检测等图像处理技术后获取关键点，并结合骨度分寸法进行腧穴定位；

利用深度相机对所述腧穴进行深度估计，并输出腧穴三维坐标。

2.根据权利要求1所述的一种基于双深度相机的腧穴定位方法，其特征在于，所述全局相机获取人体图像并进行骨架提取、姿态匹配确定目标腧穴所在肢体区域，具体为：

全局相机获取到的人体全身图像，根据深度数据将人体与环境分割，并通过Kinect骨骼追踪技术获取20个人体关节节点，完成骨架提取；

获取骨架后对骨骼数据进行特征提取，并根据骨架序列的角度特征进行标准姿态匹配，辅助肢体位置的确定；

根据腧穴所在的肢体位置，结合骨骼点坐标信息计算出手眼相机需要到达的位置。

3.根据权利要求1所述的一种基于双深度相机的腧穴定位方法，其特征在于，所述使用手眼相机依次获取目标腧穴所在肢体图像，并判断肢体类别，具体为：

根据上述全局深度相机确定出手眼相机需要到达的位置坐标后，由机械臂带动手眼相机运动到指定位置，并根据模板判断肢体类别。

4.根据权利要求1所述的一种基于双深度相机的腧穴定位方法，其特征在于，所述对于手部图像，采用基于openpose深度学习网络进行手部关键点检测，将得到的关键点位置信息结合指寸法确定手部腧穴位置，具体为：

输入为手部图像，输出结果是22个矩阵，每个矩阵代表某个特定关键点的位置；

本发明采用中指指寸法，即以被取穴者的中指中节桡侧两端纹头之间的距离作为1寸。

5.根据权利要求1所述的一种基于双深度相机的腧穴定位方法，其特征在于，所述对于手臂图像，对图像进行预处理、拐点检测等图像处理技术后获取关键点，并结合骨度分寸法进行腧穴定位，具体为：

图像预处理包含，对所述图像肤色检测、二值化处理、滤波、开运算；

预处理后的图像，进行基于弯曲度变化的拐点检测，对拐点进行矩形拟合，提取感兴趣区域，霍夫线变换后获得肘横纹以及腕横纹的端点坐标位置；

骨度分寸法，肘横纹到腕横纹之间的距离为十二寸，即以肘横纹到腕横纹之间的距离的十二等份，每一等份为1寸。

6.根据权利要求1所述的一种基于双深度相机的腧穴定位方法，其特征在于，所述利用深度相机对所述腧穴进行深度估计，并输出腧穴三维坐标，具体为：

深度相机彩色图通过内参矩阵进行变换可以转换到深度图，将二维的目标腧穴进行矩阵变换后找到深度图中对应的腧穴深度坐标，保存所述腧穴三维坐标。