[发明专利]一种基于一次投影结构光平行条纹图案的实时人手三维测量方法

说明书

本发明公开了一种基于一次投影结构光平行条纹图案的实时人手三维测量方法。通过结构光投影装置，将单幅黑白或者彩色结构光平行条纹图案投影到被测人手表面，通过单个摄像装置记录变形的黑白或者彩色结构光条纹图案，通过图像处理技术自动检测出各个手指部分条纹与手掌区域条纹。通过条纹聚类技术分别对各个手指部分条纹与手掌区域条纹进行独立的条纹聚类。在所有的条纹被聚类之后，通过手掌区域聚类条纹的长度变化，计算出各个手指部分聚类条纹与手掌区域聚类条纹的连接位置。根据计算的连接位置，将各个手指部分的聚类条纹与手掌区域的聚类条纹合并在一副图像中。并且从下至上依次标识每一条聚类条纹。依次提取聚类条纹的骨架以及骨架上点的纵坐标，生成一个纵坐标矩阵。通过样条函数内插的方法将纵坐标矩阵的分辨率提高到与摄像装置图像分辨率一致，生成纵坐标图。基于相邻纵坐标差分布与最小二乘直线拟合，校正纵坐标图的失真。通过失真校正后的人手纵坐标图与标定好的系统参数实时计算出三维人手。本发明可以在暗室也可以在正常光照室内场景中对静止，运动或者变形人手进行实时鲁棒测量。

技术领域

本发明涉及光学三维传感技术，特别是涉及通过投影单幅平行黑白条纹或者彩色条纹组成的图案，通过针对人手特征的图像处理方法，实现对人手表面三维形状的实时测量。

背景技术

本发明涉及一种基于一次投影结构光的实时三维人手测量方法。基于一次投影结构光的三维测量技术既能测量静态人手的三维数据，也能测量动态人手的三维数据。静态人手的三维测量在人类工程学、辅助人手手术等领域起着重要作用。而动态人手的三维测量在机器人手设计与生物机械分析、手势识别、人机交互等领域有着广泛的需求与应用。目前可以用于人手三维测量的技术主要包括立体摄影测量技术，多次投影结构光技术，数据手套技术，基于二维图像的人手建模技术，双目视觉技术，一次投影实时结构光技术,飞行时间技术以及三维激光扫描技术等。其中，立体摄影测量技术与多次投影结构光技术的优点是测量精度高，缺点是测量过程麻烦效率低，并且要求测量过程中人手保持绝对静止，请参见文献I.A. Hoevenaren, J. Meulstee, E. Krikken, S.J. Berge, D.J.O. Ulrich,T. J. Maal, Development of a Three-Dimensional Hand Model Using Three-Dimensional Stereophotogrammetry: Assessment of Image Reproducibility, plos one, 10(9), e0136710 (2015)与J. Geng, “Structured light 3D surface imaging: atutorial,” Adv Opt Photonics, Vol. 3 No. 2, pp.128-160, (2011)。数据手套技术的优点是加入了触觉与力学的反馈，缺点是操作笨重，不自然以及精度不高，请参见文献R.Rosales, V. Athitsos, L. Sigal, and S. Scarloff, 3D Hand Pose ReconstructionUsing Specialized Mappings, Proc. Eighth Int’l Conf. Computer Vision, I,378-385, (2001)。基于二维图像的人手建模技术与双目视觉技术的优点是简单灵活成本低，缺点是复杂度高，很难达到实时的要求，而且鲁棒性差，容易受人脸纹理或者光照条件的影响,请参见文献B. Stenger, A. Thayananthan, P.H. Torr and R. Cipolla,Model-based hand tracking using a hierarchical bayesian filter, IEEE Trans.Pattern Anal. Mach. Intell., 28, 1372–1384, (2006)。一次投影实时结构光技术与飞行时间技术的优点是实时性强，缺点是鲁棒性差与分辨率低，请参见文献M. Takeda, Q.Gu, M. Kinoshita, H. Takai and Y. Takahashi, “Frequency-multiplex Fourier-transform profilometry: a single-shot three-dimensional shape measurement ofobjects with large height discontinuities and/or surface isolations”, AppliedOpt., Vol. 36, No. 22, pp. 5347, (1997)；G. Hackenberg, R. McCall, W. Broll, Lightweight palm and finger tracking for real-time 3D gesture control, the2011 IEEE Virtual Reality Conference (VR), Singapore, 19–26, (2011)；K.T. Kim,J.G. Kim, J.S. Choi, J. Y. Kim and S.Y. Lee, Depth Camera-Based 3D HandGesture Controls with Immersive Tactile Feedback for Natural Mid-Air GestureInteractions, Sensors, 15, 1022-1046, (2015)。三维激光扫描技术的优点是鲁棒性与实时性强，缺点是成本高以及价格昂贵，请参考一款典型产品FARO Focus3D 120的报价。