[发明专利]投影互动方法、系统及电子设备

说明书

本发明提供了一种投影互动方法、系统及电子设备。其中，投影互动方法，包括：创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型；采集玩家的人体骨骼图像和全身的RGB‑D图像，并确定面部RGB图像；将面部RGB图像映射到对应于人体骨骼图像的骨骼坐标系上；建立人体骨骼图像和多个人体三维模型的映射关系；根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影。根据本发明的实施例，可以在PC机上实现多人体感变装识别，不依赖于特定的硬件设备，可独立更换主机和显示设备，整体价格较低且可实现软硬件的自由定制。此外，具有更高真实性和趣味性，提升用户的体验效果。

技术领域

本发明涉及互联网技术领域，具体涉及一种投影互动方法、系统、电子设备及存储介质。

背景技术

变装投影互动系统运用的技术为增强现实技术与体感捕捉技术，是虚拟现实技术的进一步的发展。该技术通过计算机产生三维影像，提供给用户一个三维的空间并与之互动的一种技术。通过投影混合现实，用户在操控虚拟影像的同时也能接触真实环境，从而增强了感官性和趣味性。变装投影互动系统可以提供多种信息包括人们所想或所需的各种画面和图案，以其独特的方式来表达的新型的展示形式。

传统的AR变装系统多为移动端的手机程序，或是集成摄像头、电脑主机及其他数据采集设备的变装一体机。这些方案能够在一定程度上实现AR变装的效果，但是针对不同的应用环境仍存在着如下缺陷：移动端上的变装系统多基于手机或平板等设备。此类系统多安装在个人专有设备上，是目前使用最广泛的应用方式。但是受限于设备屏幕尺寸，此方案常常只适用于1米内的单用户场景，且该类方法无法满足深度应用需求，且对于远距离多人变装互动场景暂未发现类似的移动端应用。变装一体机实现了主机、显示设备、采集设备以及软件的一体化集成。该方案适用于远距离的多人变装应用场景，但是此方案多为整体定制，造价高昂，安装环境局限且难以满足用户的个性化定制需求。

发明内容

基于现有技术中存在的问题，本发明提出一种投影互动方法、系统、电子设备及存储介质。

第一方面，本发明提供了一种投影互动方法，包括：

创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号；

采集玩家的人体骨骼图像和全身的RGB-D图像，并根据所述人体骨骼图像和全身的RGB-D图像确定面部RGB图像；

将所述面部RGB图像映射到对应于所述人体骨骼图像的骨骼坐标系上；

建立所述人体骨骼图像和多个所述人体三维模型的映射关系；

根据玩家数量将每个玩家根据造型风格选定的人体三维模型进行渲染并投影。

在一些示例中，所述创建并存储一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，每个人体三维模型具有特定编号，包括：

创建一一对应于多个造型风格的包括多个关节点的多个人体三维模型，其中，所述多个关节点包括头、颈、肩、肘、手、膝、脚、腕中的部分或全部；

对每个人体三维模型进行编号，并存储每个人体三维模型，或者，对每个人体三维模型中的多个关节点进行编号，并依次存储每个人体三维模型中的多个关节点。

在一些示例中，还包括：存储所述多个关节点的时序数据。

在一些示例中，所述采集玩家的人体骨骼图像和全身的RGB-D图像，并根据所述人体骨骼图像和全身的RGB-D图像确定面部RGB图像，包括：

采集玩家的人体骨骼的红外图像；

利用预先训练好的机器学习算法得到所述人体骨骼图像的骨骼模型；