[发明专利]AR内容的投屏方法、系统、电子设备和存储介质

权利要求书

1.一种AR内容的投屏方法，其特征在于，所述方法包括：

第一终端，通过相机模组数据流生成实景图，并通过渲染引擎将所述实景图与虚拟内容叠加，生成增强现实画面，

其中，若所述第一终端通过跟踪相机获取位姿数据，在生成增强现实画面的过程中，基于预设流程将所述实景图和所述虚拟内容进行时空同步；

所述第一终端，通过WebRTC通讯技术与第二终端建立无线串流通道，通过所述无线串流通道直接发送增强现实画面至所述第二终端，并指示所述第二终端同步展示所述增强现实画面。

2.根据权利要求1所述的方法，其特征在于，所述第一终端通过RGB相机同时获取位姿数据以及拍摄实景图的情况下，直接通过渲染引擎将所述实景图与虚拟内容叠加，生成增强现实画面。

3.根据权利要求1所述的方法，其特征在于，基于预设流程将所述实景图和所述虚拟内容进行时空同步，包括：

在通过渲染引擎将所述实景图与虚拟内容叠加的过程中，对所述实景图和所述虚拟内容进行时间同步，

以及，根据所述跟踪相机采集的位姿数据，将所述实景图和所述虚拟内容进行空间同步。

4.根据权利要求3所述的方法，其特征在于，对所述实景图和所述虚拟内容进行时间同步，包括：

通过硬件装置执行同步曝光，对所述实景图和所述虚拟内容进行时间同步，或者，

获取所述实景图和所述虚拟内容的时间标记信息，基于所述时间标记信息，通过数据流软同步，实现所述实景图和所述虚拟内容的时间同步。

5.根据权利要求2所述的方法，其特征在于，根据所述跟踪相机采集的位姿数据，将所述实景图和所述虚拟内容进行空间同步包括：

获取所述跟踪相机和所述RGB相机之间的外参；

根据所述外参，将所述跟踪相机的位姿数据转换到所述RGB相机，所述跟踪相机与所述RGB完成位姿绑定；

所述渲染引擎中的虚拟相机，绑定所述跟踪相机采集的位姿数据，所述虚拟相机与所述RGB相机完成位姿绑定；

在所述虚拟相机与所述RGB相机完成位姿绑定之后，通过渲染引擎将所述实景图与所述虚拟内容叠加，所述实景图和所述虚拟内容完成空间同步。

6.根据权利要求1所述的方法，其特征在于，基于WebRTC协议与第二终端建立无线串流通道，包括：

所述第一终端发送SDP请求至信号服务器，所述信号服务器在检查所述SDP请求合格之后，将其发送至所述第二终端；

所述第二终端响应所述SDP请求生成SDP回答，并通过所述信号服务器将其转发至所述第一终端；

接收所述SDP回答之后，所述第一终端发送ICE候选数据至所述信号服务器，所述信号服务器在检查所述ICE候选数据合格之后，将其发送至所述第二终端；

所述第二终端响应所述ICE候选数据，生成第二ICE候选数据，并通过所述信号服务器将其转发至所述第一终端；

所述第一终端接收所述第二ICE候选，在检查合格之后与所述第二终端建立所述无线串流通道。

7.根据权利要求6所述的方法，其特征在于，在所述第一终端与所述第二终端建立无线串流通道之后，所述第一终端通过所述无线串流通道，直接将所述增强现实画面的视频流和/或音频流发送至所述第二终端。

8.一种AR内容的投屏系统，其特征在于，所述系统包括：第一终端和第二终端，其中，

所述第一终端用于，通过相机模组数据流生成实景图，并通过渲染引擎将所述实景图与虚拟内容叠加，生成增强现实画面，其中，若所述第一终端通过跟踪相机获取位姿数据，在生成增强现实画面的过程中，基于预设流程将所述实景图和所述虚拟内容进行时空同步；

所述第二终端用于，基于WebRTC协议与所述第一终端建立无线串流通道，并通过所述无线串流通道，接收所述第一终端发送的增强现实画面，并与所述第一终端同步展示所述增强现实画面。