[发明专利]一种3D全景音视频直播系统及音视频采集方法

权利要求书

1.一种3D全景音视频直播系统，其特征在于，包括：音视频采集设备、服务器以及多个用户终端，其中：所述音视频采集设备，用于硬件同步采集多路原始视频数据以及多路原始音频数据，对所述多路原始视频数据以及所述多路原始音频数据进行处理，获得3D全景音视频数据，并将所述3D全景音视频数据推流到所述服务器；

所述服务器，用于接收所述音视频采集设备推流的所述3D全景音视频数据，将所述3D全景音视频数据进行转码处理，以及将转码后的3D全景音视频数据分发给所述用户终端；

所述用户终端，用于从所述服务器实时获取所述转码后的3D全景音视频数据，并实时直播所述转码后的3D全景音视频数据；

所述音视频采集设备包括采集模块和处理模块，所述采集模块通过M路第一移动产业处理器接口MIPI与所述处理模块连接，所述采集模块包括N路摄像头模组、P路拾音器以及现场可编程门阵列FPGA芯片，所述N路摄像头模组通过N路第二MIPI与所述FPGA芯片连接，所述P路拾音器通过P路第一音频数据接口与所述FPGA芯片连接，其中，M、N、P均为正整数，且M小于N；其中：所述FPGA芯片，用于通过所述N路第二MIPI硬件同步采集来自所述N路摄像头模组的原始视频数据，并通过所述M路第一MIPI将所述原始视频数据并行发送给所述处理模块；

所述FPGA芯片，还用于通过所述P路第一音频数据接口硬件同步采集来自所述P路拾音器的原始音频数据，并通过第二音频数据接口将所述原始音频数据发送给所述处理模块；

所述处理模块，用于对所述原始视频数据以及所述原始音频数据进行处理，获得3D全景音视频数据。

2.根据权利要求1所述的3D全景音视频直播系统，其特征在于，所述处理模块包括：主控模块、M路图像信号处理ISP模块、图形处理器GPU模块、编码模块以及外部存储模块，其中，所述主控模块，用于通过所述M路第一MIPI并行接收所述原始视频数据，并通过调度所述M路ISP模块以及所述GPU模块对所述原始视频数据进行处理，获得3D全景视频数据；

所述主控模块，还用于通过所述第二音频数据接口接收所述原始音频数据，并对所述原始音频数据进行处理，获得全景音频数据；

所述主控模块，还用于对所述3D全景视频数据以及所述全景音频数据进行方向匹配处理；

所述主控模块，还用于通过调度所述编码模块对匹配后的3D全景视频数据以及全景音频数据分别进行编码处理，以及对编码后的3D全景视频数据以及全景音频数据进行音视频同步处理，获得3D全景音视频数据；

所述主控模块，还用于通过调度所述外部存储模块存储所述3D全景音视频数据。

3.根据权利要求2所述的3D全景音视频直播系统，其特征在于，所述主控模块还用于通过以太网将所述3D全景音视频数据以实时消息传输协议RTMP格式推流到所述服务器。

4.根据权利要求1～3任一项所述的3D全景音视频直播系统，其特征在于，针对每路所述摄像头模组，所述摄像头模组包括图像传感器以及所述图像传感器对应的镜头；其中，N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，或者，N个所述镜头按照镜头朝外均匀分布在一个球体上。

5.根据权利要求4所述的3D全景音视频直播系统，其特征在于，若N个所述镜头按照一个圆形进行镜头朝外均匀分布排列，则所述镜头为角度大于或等于180度的鱼眼镜头，每个所述图像传感器竖立放置；

若N个所述镜头按照镜头朝外均匀分布在一个球体上，则所述镜头为广角镜头，所述广角镜头的角度与所述图像传感器的数量相对应。

6.根据权利要求1～3任一项所述的3D全景音视频直播系统，其特征在于，所述FPGA芯片包括：N个视频数据输入缓存单元以及M个视频数据输出缓存单元，N为M的整倍数，其中，所述视频数据输入缓存单元，用于存储与所述视频数据输入缓存单元对应的所述摄像头模组的原始视频数据；

所述FPGA芯片，还用于将N个所述视频数据输入缓存单元存储的原始视频数据均分为M组，获得每个分组的原始视频数据；

所述视频数据输出缓存单元，用于存储与所述视频数据输出缓存单元对应的分组的原始视频数据，以及用于通过所述第一MIPI将存储的原始视频数据发送给所述处理模块。