[发明专利]一种双目720度全景采集系统

摘要

本发明公开了一种双目720度全景采集系统，包括采集模块，用于采集N路音频数据和双路视频数据；核心处理模块，用于将N路音频数据和双路视频数据进行匹配并拼接为全景视频；云端流媒体服务器模块和本地服务器模块，用于创建直播、生成推流地址和播放地址，将接收到的音视频流格式进行格式转换；广域网终端体验模块和局域网终端体验模块，用于完成音视频现场直播。本发明通过两路高处理能力的ISP和至少两路MIPI接口，可以实现双路视频的硬件同步采集、双路千万像素以上的传感器的数据量的实时处理、及720度全景视频的实时拼接，保证在网络较低的码率下也能实现高清图像信息的快速传输，极大地提高了用户体验的真实感和舒适感。

主权项

一种双目720度全景采集系统，其特征在于，包括：采集模块，用于采集N路音频数据和双路视频数据，其中N为大于或等于2的正整数；核心处理模块，用于将所述采集模块采集的双路视频数据进行全景视频实时拼接，同时将所述N路音频数据通过环绕立体声算法进行所述N路音频数据的融合，并与全景视频进行算法的位置信息匹配，使得环绕立体声音频能够根据全景视频不同的视角位置匹配模拟出真实场景人耳感受到的声源位置的发生情况，再把经过匹配的全景视频和环绕立体声音频进行视频数据的硬件加速编码和音频数据的硬件加速编码，再进行一个时间戳同步，最后将同步后的音频数据和视频数据进行本地存储或者直接通过以太网进行RTMP格式的音视频推流，其与所述采集模块相连接；云端流媒体服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在云平台创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；广域网终端体验模块，用于实时接收和解码云端流媒体服务器模块分发过来的音频和视频数据，进行远程沉浸式全景音视频现场的直播体验，其与所述云端流媒体服务器模块相连接；本地服务器模块，用于接收所述核心处理模块通过以太网推流过来的音频和视频流并在本地服务器创建直播、生成推流地址和播放地址，将接收到的音频和视频流的格式进行格式转换后对处理完成的视频和音频数据进行分发，其与所述核心处理模块相连接；局域网终端体验模块，用于实时接收和解码本地服务器模块分发过来的音频和视频数据，完成本地沉浸式全景音视频现场的直播体验，其与所述本地服务器模块相连接。