[发明专利]VR-AR一体机终端真人远程交互方法以及基于其的系统

说明书

本发明提供了VR‑AR一体机终端真人远程交互方法，包括如下步骤：S1、同时云端处理服务器从视频采集设备和一体机终端设备分别获取编码预处理视频流和编码音频流；S2、云端处理服务器对编码预处理视频流和编码音频流进行处理，得到目标视频流以及音频流；S3、云端处理服务器将目标视频流以及音频流同步形成音视频流；S4、云端处理服务器对音视频流进行混合压缩编码；S5、一体机终端设备从云端服务器获取混合压缩编码后的音视频流。R‑AR一体机终端真人远程交互方法以及基于其的系统解决现有技术中将AR或VR设备的语音采集功能与视频采集设备的图像采集功能相结合而导致AR或VR设备的功能不能得到充分利用的问题。

技术领域

本发明涉及实现远程教育虚拟实景的领域，具体涉及一种VR-AR一体机终端真人远程交互方法以及基于其的系统。

背景技术

中国专利公开了申请号为CN201810124075.9的图像数据处理方法及装置、计算机装置及可读存储介质，其中，所述图像数据处理方法包括：若将采集到的YUV编码图像转换成的RGB图像包括抠图目标，则从所述RGB图像中抠取目标图像；对所述目标图像进行编码处理得到待传输图像数据，其中，所述待传输图像数据包括YUV422平面格式数据及alpha通道数据。虽然该方法可降低现有进行虚拟场景或360度全景视频中传输图像数据的频宽，但是存在的问题：

再加上，现有技术有用AR或VR技术实现模型模拟会议展开等，利用AR或VR技术可以将学生更加容易带入到学习模拟场景中，上述图像处理虽然实现了将学生真实动作图片与场景结合在一起，而一般的视频采集设备没有语音采集功能，并且视频采集设备传输图像数据的通道由于数据量较大，如果还承担音频流的传输功能导致视频采集设备传输通道负担较重，而一般AR或VR设备具有语音采集功能，但是现有技术不能将AR或VR设备的语音采集功能与视频采集设备的图像采集功能相结合，导致AR或VR设备的功能不能得到充分利用。

发明内容

本发明要提供一种VR-AR一体机终端真人远程交互方法以及基于其的系统，解决现有技术中将AR或VR设备的语音采集功能与视频采集设备的图像采集功能相结合而导致AR或VR设备的功能不能得到充分利用的问题。

为实现上述目的，本发明采用了如下的技术方案：

本发明首先提出一种VR-AR一体机终端真人远程交互方法，包括如下步骤：

S1、同时云端处理服务器从视频采集设备和一体机终端设备分别获取编码预处理视频流和编码音频流；

S2、云端处理服务器对编码预处理视频流和编码音频流进行处理，得到目标视频流以及音频流；

S3、云端处理服务器将目标视频流以及音频流同步形成音视频流；

S4、云端处理服务器对音视频流进行混合压缩编码；

S5、一体机终端设备从云端服务器获取混合压缩编码后的音视频流；

S6、一体机终端设备对混合压缩编码后的音视频流解码，得到音视频流；

S7、一体机终端设备播放音视频流。

本发明还提供一种基于VR-AR一体机终端真人远程交互方法的系统，包括：一体机终端设备、视频采集设备以及云端处理服务器，一体机终端设备以及视频采集设备均与云端处理服务器通信连接；

一体机终端设备用于通过采样和编码得到编码音频流，接收云端处理服务器的混合压缩编码后的音视频流，对混合压缩编码后的音视频流解码得到音视频流，并播放音视频流；

视频采集设备用于采用、预处理和编码得到编码预处理视频流；

云端处理服务器用于对编码预处理视频流和编码音频流进行处理得到目标视频流以及音频流，将目标视频流以及音频流同步形成音视频流，并对音视频流进行混合压缩编码。