[发明专利]一种基于无人机双目视频的多用户VR直播系统

摘要

一种基于无人机双目视频的多用户VR直播系统，包括相机驱动模块、视频编码模块、无线图传模块、流媒体分发服务器、VR视频播放模块、VR控制服务器；相机驱动模块为视频编码模块提供数据源；视频编码模块通过RTP协议将该编码输出缓冲区的视频数据实时发送出去；无线图传模块为视频数据的传输提供点对点的局域网络环境；流媒体分发服务器，包括实现视频数据的接收单元与转发单元；VR视频播放模块，主要实现视频数据的接收、解码与渲染；VR控制服务器以心跳模式与服务器建立长连接，判定服务器与该设备网络连接异常，推送网络连接断开的报警消息，收到数据包时解除异常；具有便利性、交互性、真实性和多用户的特点。

主权项

1.一种基于无人机双目视频的多用户VR直播系统，其特征在于，包括相机驱动模块、视频编码模块、无线图传模块、流媒体分发服务器、VR视频播放模块、VR控制服务器；所述的相机驱动模块包括双目相机模组，双目相机模组连接TX2核心板，在TX2端利用V4L2实现摄像头驱动，输出拼接处理后的MJPEG视频流，为视频编码模块提供数据源；所述的视频编码模块，主要实现使用CUDA高性能解码模块将MJPEG流解码为YUV420P存储到视频待编码缓冲队列，然后使用CUDA高性能编码模块将待编码缓冲区的视频数据编码成H264/H265格式输出到编码输出缓冲区，再通过RTP协议将该编码输出缓冲区的视频数据实时发送出去；所述的无线图传模块，主要包括发送模块和接收模块两部分，发送模块连接TX2端搭载在无人机上，接收模块嵌入在地面站的无人机控制平台，为视频数据的传输提供点对点的局域网络环境；所述的流媒体分发服务器，主要包括实现视频数据的接收单元与转发单元；所述的VR视频播放模块，以VR设备为载体，主要实现视频数据的接收、解码与渲染；所述的VR控制服务器，基于TCP协议，各VR设备以心跳模式与服务器建立长连接，若服务器连续3个心跳周期未收到设备网络数据包，则判定服务器与VR设备网络连接异常，推送网络连接断开的报警消息，再次收到数据包时解除异常。