[发明专利]一种基于双目视觉图像的指尖检测方法及系统

摘要

本发明提供了一种基于双目视觉图像的指尖检测方法及系统，方法通过获取并预处理目标手部的双目视觉图像的二值图像，根据卷积神经网络的回归目标模型到二值图像的像素坐标预测值及目标手部中各指尖点的视差预测值；对二值图像的像素坐标预测值及指尖点的视差预测值进行校正，得到二值图像的像素坐标终值及指尖点的视差终值；以及根据像素坐标终值及指尖点的视差终值获取手部的各指尖的三维坐标值。系统包括目标手部图像获取模块、预处理模块、卷积神经网络预测模块及指尖三维坐标获取模块。本方法识别精度高且运行速度快，避免了深度成像的误差影响，使得对指尖的检测定位结果精确且可靠，为人机交互中的指尖定位的应用研究提供了精确的技术支撑。

主权项

1.一种基于双目视觉图像的指尖检测方法，其特征在于，所述方法包括：/n步骤1.根据双目立体视觉原理获取目标手部的双目视觉图像，并将所述双目视觉图像转换为二值图像；/n步骤2.预处理所述二值图像；/n步骤3.根据卷积神经网络及卷积神经网络的回归目标模型，得到预处理后的二值图像中的像素坐标预测值及目标手部中各指尖点的视差预测值；/n步骤4.对所述二值图像的像素坐标预测值及指尖点的视差预测值进行校正，得到所述二值图像的像素坐标终值及指尖点的视差终值；/n以及根据所述二值图像的像素坐标终值及指尖点的视差终值，得到手部的各指尖的三维坐标值；/n所述步骤1包括：/n步骤1-1.根据双目立体视觉抓取设备获取手部的双目视觉图像，其中，所述双目视觉图像有两幅，且两幅图像为分别对应所述双目立体视觉抓取设备的两个摄像头的左视觉图和右视觉图；/n步骤1-2.将所述左视觉图和右视觉图分别进行二值分割处理，得到所述左视觉图的二值图像及右视觉图的二值图像；/n所述步骤3包括：/n根据卷积神经网络及如式(1)所述的卷积神经网络的回归目标模型，得到预处理后的二值图像中的像素坐标预测值及目标手部中各指尖点的视差预测值，其中，所述卷积神经网络包括12个卷积层、4个池化层和3个全连接层；/n /n式(1)中，Δu和Δv为所述预处理后的二值图像中的像素横坐标及纵坐标预测值，所述Δd为各指尖点的视差预测值；u和v为所述预处理后的二值图像中的像素坐标终值，C_xl和C_yl为左视觉图的二值图像的中心点的横坐标及纵坐标；C_xr为右视觉图的二值图像的中心点的横坐标；f_x是双目立体视觉抓取设备参数；b是双目立体视觉抓取设备的双目摄像头的基线长度；z为指尖三维坐标中的深度值；d为各质检点的视差值。/n