[发明专利]人体动作三维数据采集和复现的处理方法及系统

说明书

本发明涉及一种人体动作三维数据采集和复现的处理方法及系统，方法包括步骤：获取包括多个不同角度的人体动作图像；生成贴图信息；对图像数据组进行三维人体模型重建；利用骨骼提取算法，对重建的三维人体模型进行骨骼提取，获得绑定好骨骼的三维人体模型；获取人体运动视频流，经过深度学习算法提取人体动作，将提取的人体动作融入绑定好骨骼的三维人体模型，生成有动作的人体模型；复现三维人体动作。本系统包括图像数据采集单元、人体模型三维重建单元、人体动作模型生成单元、人体动作三维模型复现单元和数据存储单元。本发明提高了模型计算人体动作的精确度，为各种人体动作的采集与复现提供了必要的支持。

技术领域

本发明涉及计算机视觉处理技术领域，特别是涉及一种人体动作三维数据采集和复现的处理方法及系统。

背景技术

虚拟人物的动态模型是现代产业发展的重要组成部分，例如智慧工厂、电影和游戏视觉效果应用等，对于真实感、沉浸式虚拟和增强现实、临场感以及三维，及自由视点视频都有着不可估量的价值。这种虚拟人物的理想特征是高级的、一体的、密集的形状、运动和变化模型，以及人的外表，而不论其体格或服装风格如何。以高保真度创作此类模型通常需要专业人员数月的工作。为了简化这个过程，我们研究了无标记的人体动作三维数据采集和复现的方法，从真实人体运动的摄像机记录中重建出一部分这样的三维模型。

三维重建是指对三维物体建立适合计算机表示和处理的数学模型,是在计算机环境下对其进行处理、操作和分析其性质的基础，也是在计算机中建立表达客观世界的虚拟现实的关键技术。在计算机视觉中，三维重建是指根据单视图或者多视图的图像重建三维信息的过程。由于单视频的信息不完全，因此三维重建需要利用经验知识。而多视图的三维重建(类似人的双目定位)相对比较容易，其方法是先对摄像机进行标定，即计算出摄像机的图像坐标系与世界坐标系的关系，然后利用多个二维图像中的信息重建出三维信息。

目前，市面上常用的三维重建设备或方法包括三种。第一种是基于激光扫描的方法，其主要是基于激光测距的原理，此类设备的构造一般主要包括一台高速精确的激光测距仪、数码相机、以及引导激光运动的辅助设备。采用激光扫描的方法具有精度高、速度快的优点，然而其设备往往价格昂贵，并且体积等常比较大；第二种方法是基于单摄像机及辅助信息的方法，这类方法需要在物体上打上主动光斑等辅助信息，通过分析纹理光斑的形变等变化来计算出物体的三维位置信息，比如一些设备采用红外投影仪向物体投射结构化的光斑信息。这类方法的缺点在于需要额外的辅助设备，并且在对物体快速运动的场景会遇到困难。而且有一些三维重建的方法，物体轮廓分割不干净，物体轮廓和物体外貌颜色信息获取不准确，计算量大，步骤复杂。第三种方法是基于立体视觉的方法，即通过两台以上摄像机从不同角度对物体进行拍摄，分析获得的图像数据，从中计算出物体各个三维点的空间位置，从而得到三维重建数据，这类方法关键需要解决高精度拍摄物体各个三维点的空间位置，从而得到三维重建数据，然而这类方法需要高精度的恢复出物体三维点云信息，这样又存在很大困难，并且此类方法得到的仅仅是一个静态的人物模型。

发明内容

针对现有技术的不足和缺陷，本发明提出了一种人体动作三维数据采集和复现的处理方法及系统，通过对人体动作图像的采集处理，实现快速人体三维模型重建，通过提取骨骼模型，获取绑定好骨骼的三维人体模型，通过拍摄人体运动视频，基于视频信息，再通过深度学习方法进行人体姿态估计，提取人体动作，结合绑定好骨骼的三维人体模型进行三维重建，生成有动作的人体模型，并进行虚拟展示，复现人体运动全过程。

为了实现上述目的，本发明技术方案为：

一种人体动作三维数据采集和复现的处理方法，其特征在于：包括步骤：

S1，获取包括多个不同角度的人体图像；

S2，对多个不同角度的人体图像信息进行空间匹配处理，再将处理后的图像信息融合为一个点云模型，再将图像进行特征匹配和裁剪后生成贴图信息；