[发明专利]一种远程多人实时体感交互方法及系统

权利要求书

1.一种远程多人实时体感交互方法，其特征在于，应用于服务器，所述服务器与多个用户终端通信，所述方法包括：

下发相同的虚拟互动场景至多个所述用户终端；

接收多个所述用户终端对于虚拟互动场景的实时反馈信息，所述实时反馈信息包括实时音频数据和实时视频数据，并在所述实时视频数据中生成目标检测框，基于所述目标检测框生成对应多个用户的骨骼关键点数据；

将与用户对应的所述实时音频数据、所述实时视频数据和所述骨骼关键点数据下发至对应用户终端的第一展示区域，将与用户关联的其他用户的所述实时音频数据、所述实时视频数据和所述骨骼关键点数据下发至对应用户终端的第二展示区域；

基于多个用户对应的所述骨骼关键点数据获得多个用户的实时交互分值。

2.根据权利要求1所述的远程多人实时体感交互方法，其特征在于，基于多个用户对应的所述骨骼关键点数据获得多个用户的实时交互分值，包括：基于预设置的动作模板库，确定所述骨骼关键点数据与所述动作模块库中对应的骨骼关键点数据的差异，基于差异结果确定所述实时交互分值。

3.根据权利要求2所述的远程多人实时体感交互方法，其特征在于，确定所述骨骼关键点数据与所述动作模块库中对应的骨骼关键点数据的差异，包括：获取所述骨骼关键点数据对应的动作信息，基于所述动作信息确定所述动作模块库中的标准骨骼关键点数据，基于所述骨骼关键点数据和所述标准骨骼关键点数据确定所述差异。

4.根据权利要求3所述的远程多人实时体感交互方法，其特征在于，获取所述骨骼关键点数据对应的动作信息包括：提取所述骨骼关键点数据中的第一特征，将所述第一特征与所述动作模板库进行比对得到对应骨骼关键点数据下的动作信息，所述第一特征用于表征所述骨骼关键点数据中的骨骼关键点。

5.根据权利要求4所述的远程多人实时体感交互方法，其特征在于，基于所述骨骼关键点数据和所述标准骨骼关键点数据确定所述差异，包括：提取所述骨骼关键点数据中的第二特征，将所述第二特征与对应动作信息下的标准骨骼关键点数据的第二特征进行比较得到权重参数，基于所述权重参数计算所述实时交互分值；所述第而特征为对应骨骼关键点的空间运动位置特征。

6.根据权利要求2～5任一项所述的远程多人实时体感交互方法，其特征在于，所述动作模板库基于标准运动过程中提取到的骨骼关键点数据组成。

7.一种远程多人实时体感交互系统，其特征在于，包括多个用户终端，多个所述用户终端分别通过服务器进行连通；多个所述用户终端分别设置有显示装置和信息采集装置，所述信息采集装置用于采集对应用户的实时交互信息，所述显示装置分别包括第一展示区域和第二展示区域，所述第一展示区域用于展示用户的实时交互信息，所述第二展示区域用于展示与用户关联的其他用户的实时交互信息。

8.根据权利要求7所述的远程多人实时体感交互系统，其特征在于，所述信息采集装置包括图像采集模块以及图像处理模块，所述图像采集模块用于采集区域范围内的实时视频数据、实时音频数据，所述图像采集模块用于对所述实时视频数据生成目标检测框并基于所述目标检测框生成与所述用户对应的骨骼关键点数据。

9.根据权利要求8所述的远程多人实时体感交互系统，其特征在于，所述用户终端上还设置有编码模块和解码模块，所述编码模块用于将获取到的实时视频数据、实时音频数据、骨骼关键点数据通过硬编码的方式基于RTMP协议发送至所述服务器，所述解码模块基于WebRTC协议接收服务器下发的实时视频数据、实时音频数据、骨骼关键点数据并通过硬解码的方式进行解码处理。

10.根据权利要求8所述的远程多人实时体感交互系统，其特征在于，所述图像采集装置包括USB摄像头。