[发明专利]一种远程多人实时体感交互方法及系统

说明书

本申请涉及人机交互技术领域，为一种远程多人实时体感交互方法及系统。本申请通过实时采集多个用户的视频信息，并在视频信息中获取有关用户的骨骼关键点数据，通过骨骼关键点数据基于动作模板库确定用户对应的动作，并根据多个用户所对应的动作的完成情况进行打分实现多用户之间的游戏互动和交互。并且，在本申请实施例提供的系统中通过设置编码器和解码器，实现多用户端之间的交互信息的编码和解码处理，通过服务器将对应用户所涉及到的信息进行抽拉和发送。

技术领域

本申请涉及人机交互技术领域，为一种远程多人实时体感交互方法及系统。

背景技术

目前市面上的AI健身镜以及互动盒子，主要基于本地相机采集视频数据后进行身体骨骼关键点识别，依托上述关键点进行姿态动作匹配或者行为动作分析，有些应用甚至还支持双人以及多人PK。

由于疫情或者其他原因，家人或者朋友在异地，无法出现在同一地点，导致无法一起互动娱乐。那如何在现有设备基础上实现双人异地互动属于目前技术中需要进行解决的技术问题。

发明内容

为了解决以上的技术问题，本申请提供一种远程多人实时体感交互方法及系统，通过对相同虚拟场景下不同用户的骨骼关键点的识别，并基于同一帧对应的视频与骨骼关键点进行比较和对应的打分，实现双人或者多人异地实时交互游戏。

为了达到上述目的，本申请实施例采用的技术方案如下：

第一方面，提供一种远程多人实时体感交互方法，应用于服务器，所述服务器与多个用户终端通信，所述方法包括：下发相同的虚拟互动场景至多个所述用户终端；接收多个所述用户终端对于虚拟互动场景的实时反馈信息，所述实时反馈信息包括实时音频数据和实时视频数据，并在所述实时视频数据中生成目标检测框，基于所述目标检测框生成对应多个用户的骨骼关键点数据；将与用户对应的所述实时音频数据、所述实时视频数据和所述骨骼关键点数据下发至对应用户终端的第一展示区域，将与用户关联的其他用户的所述实时音频数据、所述实时视频数据和所述骨骼关键点数据下发至对应用户终端的第二展示区域；基于多个用户对应的所述骨骼关键点数据获得多个用户的实时交互分值。

第一方面的第一种可能实现方式中，基于多个用户对应的所述骨骼关键点数据获得多个用户的实时交互分值，包括：基于预设值的动作模板库，确定所述骨骼关键点数据与所述动作模块库中对应的骨骼关键点数据的差异，基于差异结果确定所述实时交互分值。

结合第一方面的第一种可能实现方式，在第一方面第二种可能实现方式中，确定所述骨骼关键点数据与所述动作模块库中对应的骨骼关键点数据的差异，包括：获取所述骨骼关键点数据对应的动作信息，基于所述动作信息确定所述动作模块库中的标准骨骼关键点数据，基于所述骨骼关键点数据和所述标准骨骼关键点数据确定所述差异。

结合第一方面的第二种可能实现方式，在第一方面第三种可能实现方式中，获取所述骨骼关键点数据对应的动作信息包括：提取所述骨骼关键点数据中的第一特征，将所述第一特征与所述动作模板库进行比对得到对应骨骼关键点数据下的动作信息，所述第一特征用于表征所述骨骼关键点数据中的骨骼关键点。

结合第一方面的第三种可能实现方式，在第一方面第四种可能实现方式中，基于所述骨骼关键点数据和所述标准骨骼关键点数据确定所述差异，包括：提取所述骨骼关键点数据中的第二特征，将所述第二特征与对应动作信息下的标准骨骼关键点数据的第二特征进行比较得到权重参数，基于所述权重参数计算所述实时交互分值。

第一方面的第五种可能实现方式中，所述动作模板库基于标准运动过程中提取到的骨骼关键点数据组成。

第二方面，提供一种远程多人实时体感交互系统，包括多个用户终端，多个所述用户终端分别通过服务器进行连通；多个所述用户终端分别设置有显示装置和信息采集装置，所述信息采集装置用于采集对应用户的实时交互信息，所述显示装置分别包括第一展示区域和第二展示区域，所述第一展示区域用于展示用户的实时交互信息，所述第二展示区域用于展示与用户关联的其他用户的实时交互信息。