[发明专利]一种基于实时人体三维重建的VR社交系统及其方法

摘要

本发明公开了一种基于实时人体三维重建的VR社交系统及其方法，涉及三维重建技术、虚拟现实社交实现技术领域，解决现有技术VR社交活动中由于用户配带头显遮挡了脸部导致的人体三维重建时无法实时生成脸部点云等技术问题。本发明不仅能让每个社交对象通过人体定位自由控制自己在虚拟场景中的位置，也能让每个社交对象通过位姿自由控制自己在头显中看到的视角，还能通过实时人体三维重建看到自己和其他社交对象。本发明用于VR社交、会议、游戏以及医学研究等领域。

主权项

一种基于实时人体三维重建的VR社交系统，其特征在于，包括：终端，用于三维场景选择、在区域内采集用户未带头显时的人体离线编码数据、在区域内实时采集人体编码数据和显示融合场景的三维人体；云端，用于在所述终端选择的场景中重建人体，接收由所述终端采集的人体离线编码数据和三维场景选择指令；所述云端，离线解码分类人体离线编码数据、由解码分类得到的离线数据重建三维人体模型且在三维人体模型中获得脸部三维坐标范围；所述云端，还同步接收由所述终端采集的人体编码数据和定位数据、解码分类人体编码数据、由解码分类得到的实时数据重建实时三维人体、由三维人体模型脸部配准并替换实时三维人体脸部且由定位数据导入配准的实时三维人体至选择指令对应的三维场景；所述终端，同步接收由所述云端打包输出关于配准实时三维人体和三维场景的融合数据流。