[发明专利]一种基于多台Kinect的3D人体姿态数据库构建方法

说明书

技术领域

本发明属于计算机视觉领域，特别涉及到一种基于多台Kinect的3D人体姿态数据库构建方法。

背景技术

从图像或视频重建3D人体姿态，一直以来是计算机视觉的热点问题，在安保监控、康复医学、娱乐互动等广泛领域都有着应用前景。近年来，在视觉期刊、会议上提出了多种3D人体姿态重建方法，尤其是深度学习框架下对3D人体姿态估计的方法，需要一个姿态数量庞大的人体姿态数据库用作模型的测试和训练。数据库需要包含准确的3D人体骨架。人体骨架有两种表示方法，一是通过各关节点3D坐标表示，二是通过预测量得到的人体骨骼长度和身体各部分间链接的欧拉角表示。此外根据3D人体姿态重建方法选择的不同输入，也可能需要彩色图像、深度图像、人体剪影等信息。

在计算机视觉领域，现有的2D人体姿态数据库有ParseDataset、LeedsSportsPoseDataset、LeedsSportsPoseDatasetextended、UIUCpeople等，这些数据库中的2D人体骨架是通过人工进行标注的。

而3D人体姿态数据库，目前常用的有3个：

1.CMUGraphicsLabMotionCaptureDatabase（http://mocap.cs.cmu.edu/）；

2.HumanEvaDataset（2010IJCV，HumanEva:Synchronizedvideoandmotioncapturedatasetandbaselinealgorithmforevaluationofarticulatedhumanmotion）；

3.Human3.6M(2014PAMI，Human3.6M:LargeScaleDatasetsandPredictiveMethodsfor3DHumanSensinginNaturalEnvironments)

这3个数据库的构建方式，无一例外都是使用美国威康（Vicon）公司的解决方案（http://www.vicon.com/what-is-motion-capture），即不同角度架设多个红外摄像头，被拍摄者身穿紧身衣并在关键关节点上穿戴红外反光片，采用光学被动式采集，采集完毕后经过离线后处理得到姿态数据。用这个技术采集骨架，尽管很准确，但是价格非常高昂，是绝大多数高校或研究团队无力承担的。并且这些数据库中包含的人体姿态有限，如果想要进行其它方面的研究，只用这些数据库是不足够的。此外，穿紧身衣并在关键关节点上穿戴红外反光片的设定，对拍摄对象有较大限制。基于这两个因素，研究一套新的人体姿态数据库的构建方法和系统是迫切需要的。

微软在2010年发售了消费者级别的体感设备Kinect，其中集成了彩色、红外摄像头，并支持对人体骨架的捕捉。使用Kinect可以同步捕捉到3D骨架、彩色帧、深度帧、索引帧。微软在2014年发售了新一代Kinect，彩色、红外摄像头的分辨率和成像质量有所提高，对3D骨架识别的准确性也有改善。2013年CVPR的文章“UnconstrainedMonocular3DHumanPoseEstimationbyActionDetectionandCross-modalityRegressionForest”，其中在实验部分，用单台Kinect采集得到了action-pose-estimation(APE)dataset，也得到了预期的实验结果。之所以用单台Kinect采集3D人体骨架，是因为已有数据库不能够很好地用来测试文章的切入点。但是，用单台Kinect采集3D人体骨架，存在2个问题:(1)Kinect利用红外摄像头捕捉到的红外光栅影像，重建出深度图像，再由深度图像根据骨架识别算法得到识别骨架，因为深度图像并不稳定，深度值存在跳变，因此由Kinect得到的原始骨架也是存在跳变的；（2）当存在自遮挡的情况时，Kinect无法从深度图中直接获取被遮挡部位的信息，而是根据其它关节点信息预测被遮挡关节点位置，然而大多数情况下，预测的关节点位置都是不准确的。从这个工作的实践情况可见，采用Kinect构建人体姿态数据库是可行，但是需要进行采集方式和后处理上的改良，才能达到人体姿态数据库的精度标准。

上述领域的一些技术成果为我们开发基于多台Kinect的3D人体姿态数据库构建方法提供了坚实的技术基础，也为开发一种高质量、高效率、低成本的3D人体姿态数据库构建方法和系统提供了技术支撑。

发明内容