[发明专利]一种基于RGBD相机的动态三维人物重建和直播方法

权利要求书

1.一种基于RGBD相机的动态三维人物重建和直播方法，其特征在于，包括如下步骤：

步骤S1：对采集到的RGBD图像进行实时抠像，将所述RGBD图像的人物部分抠出；

步骤S2：对抠像后的所述RGBD图像进行压缩，并采用视频推流协议进行实时推流；

步骤S3：在移动端接收所述RGBD图像的抠像结果，并进行解压，生成三维点云，将点云连成面，得到人体的三维模型；

步骤S4：在移动端对三维模型进行双目渲染，通过佩戴三维显示设备即可看到具有立体感和AR效果的图像；

其中，步骤S3中人体三维模型构建的具体步骤包括：

S3-1：在移动端接收到RGB图、深度图、遮罩图、包围盒数据信息；

S3-2：根据所述遮罩图、包围盒得到所述RGB图中的人物区域；

S3-3：所述RGB图中每一个像素点均可视为三维模型的一个顶点，所述顶点的纹理坐标即为该像素点在RGB图中的坐标值；根据平面的生成方法，将相邻两行顶点之间连成三角形，而在遮罩区域外的顶点直接删掉，得到贴有RGB图的平面模型；

S3-4：根据已知的相机参数将顶点由相机坐标系变换到世界坐标系下，再根据深度图中每个像素点的深度值对顶点在深度方向进行偏移，即可得到人体三维模型。

2.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述步骤S1中的实时抠像，采用的是基于GPU加速的RGB和深度相结合的抠图算法，所述实时抠像结合RGB图像，先拍摄空背景，再利用背景减除，去掉背景不变的部分。

3.如权利要求2所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述抠像结果的特征为像素越接近深度抠像结果边缘，RGB抠像结果的权值越高；像素越远离深度抠像结果边缘，深度抠像结果的权值越高。

4.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述抠像结果中包括抠像的遮罩图和人体所在区域的包围盒信息。

5.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述人体三维模型构建在着色器中完成。

6.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述在移动端对三维模型进行双目渲染时，还传输声音信息，所述声音信息添加到传输的数据流中，在显示端进行解码和播放。

7.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述RGBD相机为可同时采集彩色图像和深度图像的传感器，包括但不限于Kinect Xbox 360、Kinect One、Xtion、Orbbec。

8.如权利要求1所述的基于RGBD相机的动态三维人物重建和直播方法，其特征在于，所述三维显示设备包括但不限于AR、VR和全息设备。