[发明专利]基于多目相机的三维人体运动跟踪的方法

说明书

技术领域

本发明涉及一种电信技术领域的方法，具体是一种基于多目相机的三维人体运动跟踪的方法。

背景技术

三维人体运动跟踪是当前计算机视觉领域研究的一个热点和难点。从视频数据当中抽取人体骨架模型是一个很有效的监控和跟踪方法。从三维体素数据得到的人体骨架主要应用领域有：监控系统，虚拟现实，高级用户接口，智能环境，娱乐，运动分析，医学，教育等。三维体素英文单词为voxel，是Volume Element两个单词的缩写，把Voxel叫做“体素”，它就相当于二维图像中的“pixel”--“像素”，是三维空间中的基本小方块，包含每个点的X、Y和Z三个坐标等信息，通过多目相机来获取三维的人体体素数据来进行姿态估计和人体运动跟踪是一种很新颖的方法。然而仅仅有了三维人体的体素数据还不能足以解决许多实际问题。通过多目相机得到的体素数据直接进行重建并对其跟踪，由于相机数量的不同导致结果参差不齐，数据量总体来说很大，运算速度慢且不易进行数据实时传输和网络发布，达不到跟踪和监控的效果。人体运动跟踪既有二维人体运动跟踪，也有三维人体运动跟踪。三维人体运动跟踪相对于二维的要复杂得多。通过体素数据来分析人体运动已经很普遍，但是通过体素数据来得到准确的人体骨架从而对人体运动进行跟踪却很少有人涉及。这个工作意义比较特殊，既可以将得到的跟踪结果用于监控系统，又可以当作中间结果来进行人体姿势和动作的识别，作进一步的研究。总的来说，人体运动的准确跟踪意义重大，是整个计算机视觉领域的难题。

经对现有技术文献的检索发现，Caillette，F.等人于2004年在《Third IEEE andACM International Symposium on Mixed and Augmented Reality》(IEEE和ACM第三届关于混合和扩展现实的国际研讨会)上发表的论文“Real-time markerlesshuman body tracking using colored voxels and 3D blobs”，(用彩色体素和三维模块实时跟踪无标记的人体)论文中用带有颜色的体素信息来对人体进行跟踪，该方法需要被跟踪目标和场景有比较好的颜色对比差，这就大大限制了它在工程当中的应用。

发明内容

本发明的目的在于克服现有技术中的不足，提供一种基于多目相机的三维人体运动跟踪的方法，使其具有稳定性好，快速性好，精度性高，输出文件小，易于保存和传输的特点。本发明通过对人体运动的跟踪，准确地判断和预测人体的姿态、动作等，从而可以让计算机进行自行分析和判断，在一个监控系统当中，可以将此信息实时地传送到监控终端，从而可以实时发现异常情况并及时采取相应措施。

本发明是通过以下技术方案实现的，包括以下步骤：

第一，提取人体表面的体素数据点，对体素数据进行处理，得到最外层的点；

第二，在抽取骨架对人体运动进行跟踪之前构建一个标准的三维人体骨架模型，用于在跟踪的过程当中对其进行动态的姿势调整，以实现它和原始三维图像的拟合；

第三，构建人体骨架抽取方法，根据在三维人体骨架模型中每段骨头套筒内的体素点个数是否为最大调整骨架模型姿态；

第四，构建最优匹配骨架的实现方法，通过改变三维人体骨架模型中根节点的空间位置和每段骨头绕其父节点的旋转角度来判断当前人体骨架姿态是否已经达到跟踪要求。

所述提取人体表面的体素数据点，对体素数据进行处理，得到最外层的点，是指：采用16个摄像机得到三维人体体素数据之后，为了减小数据、提升处理速度，把人体最外面的体素寻找出来。有了三维体素数据，把所有体素都用计算机显示出来就可以得到三维图像。为了得到三维图像最外层的点，本发明设计了3×3×3的图像模板。其中3×3×3是指在三维空间中每个体素(包括它本身)的前、后、左、右、上、下六个方向组成立方体模板的共计27个点。不同于二维图像，这个模板是26连通域。对于任何一个体素，对上、下、左、右、前、后和它欧式距离小于或者等于的点全部算作是该点的邻域点，共计26个。在判断过程当中判断该点的邻域点是否有背景点，若有则为最外层点。