[发明专利]VR-AR一体机终端真人远程交互方法以及基于其的系统

权利要求书

1.一种VR-AR一体机终端真人远程交互方法，其特征在于，包括如下步骤：

S1、云端处理服务器同时从视频采集设备和一体机终端设备分别获取编码预处理视频流和编码音频流；

S2、云端处理服务器对编码预处理视频流和编码音频流进行处理，得到目标视频流以及音频流；

S3、云端处理服务器将目标视频流以及音频流同步形成音视频流；

S4、云端处理服务器对音视频流进行混合压缩编码；

S5、一体机终端设备从云端服务器获取混合压缩编码后的音视频流；

S6、一体机终端设备对混合压缩编码后的音视频流解码，得到音视频流；

S7、一体机终端设备播放音视频流；

步骤S1中云端处理服务器从视频采集设备获取编码预处理视频流的步骤包括：

S111、视频采集设备的视频采集单元采集视频流，视频采集设备的控制单元获得视频流；

S112、视频采集设备的控制单元对视频中的图片进行初次扣像处理得到预处理视频流，预处理视频流中图片为通过结合深度摄像头采集的深度信息数据；

S113、视频采集设备的控制单元采用4：2：2格式图像压缩编码技术对预处理视频流仅编码，得到编码预处理视频流；

S114、视频采集设备控制单元通过视频采集设备的通信单元向云端处理服务器发送编码预处理视频流；

步骤S112的具体步骤包括:

S1121、首先在无人的画面情况下,取一帧深度信息的图像，作为后续处理的深度图比较图像，定义为D1；

S1122、通过深度信息结合,视频中的每帧正常镜头的RGB图片,可取得一个基于深度信息在2-4M内的一幅过渡图像,此时可得到一个基于人体的并去掉周边背景的正常画面图像，定义为P1；

S1123、将S1122所得到的P1，结合之前获取的D1进行融合运算,可剔除P1中的地面信息,得到最后剔除了背景与地面的人体正常图像,定义为P2，P2即为初步扣像的输出结果；

步骤S2中云端处理服务器对编码预处理视频流进行处理的步骤包括：

S211、云端处理服务器对编码预处理视频流进行解码得到预处理视频流；

S212、云端处理服务器对预处理视频流中每帧视频图像进行云端后期人物细化抠像处理，以得到无背景的人物视频流；

S213、云端处理服务器对无背景的人物视频流中每帧视频图像进行人物画面效果动态增强处理，得到目标视频流。

2.根据权利要求1所述的VR-AR一体机终端真人远程交互方法，其特征在于，步骤S1中云端处理服务器从一体机终端设备获取编码音频流的步骤包括：

S121、一体机终端设备上的麦克风采集音频流，一体机终端设备内的控制器获取麦克风采集的音频流；

S122、一体机终端设备内的控制器采用AAC音频压缩编码技术对音频流进行编码，得到编码音频流；

S123、一体机终端设备控制器通过通信模块向云端处理服务器发送编码音频流，云端处理服务器获得编码音频流。

3.根据权利要求2所述的VR-AR一体机终端真人远程交互方法，其特征在于，步骤S2中云端处理服务器对编码音频流进行处理的步骤包括：将编码音频流进行解码得到音频流。

4.根据权利要求3所述的VR-AR一体机终端真人远程交互方法，其特征在于，步骤S3具体为：将目标视频流中每帧图像与音频流中每个音频按时间对齐，得到同步后的音视频流。