[发明专利]视频数据处理方法及视频会议终端

说明书

本发明公开了一种视频数据处理方法及视频会议终端。其中视频数据处理方法包括：摄像头的原始图像通过HDMI接口传输到显卡的采集模块中，并存储到显卡的内部存储器中。以及显卡的GPU根据显示帧率从内部存储器读取采集到的原始图像的视频帧并进行渲染，且渲染后的RGB数据存储至显卡的帧缓冲器中并输出至显示设备；同时GPU根据应用软件设置的编码参数从显卡的内部存储器读取采集到的原始图像帧，利用GPU或者显卡内的硬件加速器进行编码并得到压缩码流，此码流可以经由显卡与CPU的接口传到CPU，并且由CPU发送到网络远端或者后台。借此，本发明的视频数据处理方法，显卡提供基于压缩流的视频输入和输出接口，减少了开发工作量，缩短了开发周期。

技术领域

本发明是关于网络视频会议技术领域，特别是关于一种视频数据处理方法及视频会议终端。

背景技术

随着网络技术的快速发展和线上视频沟通需求的持续增长，网络视频会议被越来越多的用户所接触和接受。使用更高视频分辨率和帧率来获得更加清晰和流畅的视频体验效果，也成为重要的视频会议功能和性能指标。

一般网络视频会议终端包括视频采集、编码、传输、解码、显示等主要模块；音频采集、前端处理、编码、传输、解码、后端处理、播放等主要功能模块。其中视频采集一般通过USB接口或HDMI接口来读取摄像头的原始图像帧，使用CPU或者GPU(或者专用编解码卡)对采集的图像进行编码，然后经过网络和后台服务器传输到指定的与会用户；同时该终端经过网络从后台服务器获取远端某用户的视频码流，使用CPU或者GPU(或者专用编解码卡)把视频码流解码成无压缩图像(YUV/RGB格式)，然后送到GPU进行渲染显示。

随着视频分辨率提高到4K和8K，视频会议终端需要处理的数据量也成倍增长：例如相同帧率下，4K视频比1080P视频的数据量扩大4倍，8K视频比1080P视频的数据量扩大16倍。视频数据量增大以后，视频会议终端的软件和硬件的设计与开发都将面临着新的问题和挑战，并且在ARM架构的芯片和主板上更为明显。这种情况下，支持4K/8K分辨率的视频会议只能在专用的终端设备上，普通办公电脑将不能方便的支持超高分辨率的视频处理。

目前市场上常见的显卡，除了图像渲染和图像输出功能外，很多都支持视频的编码和解码功能，例如英伟达/AMD的独立显卡，Intel集成显卡等，都支持视频编解码功能，但是一般都不具备视频采集功能。而视频采集一般通过主板的USB接口或者外接专用视频采集卡来实现。

现有技术存在以下问题或者不足：

1、x86/ARM架构的个人办公电脑支持4K/8K分辨率的视频会议技术难度较大或者较为复杂：

(1)、x86/ARM个人办公电脑一般不具备4K/8K分辨率视频的采集接口。普通个人办公电脑配置的USB2.0/3.0最高只能采集到1080P的视频分辨率。所以需要安装独立的专用视频采集卡实现4K/8K视频的采集。4K@30帧视频最低需要HDMI1.4接口，4K@60则最低需要HDMI2.0接口。8K视频需要更高速率的硬件输入接口。

(2)、x86/ARM个人办公电脑的CPU难以完成4K/8K视频的编码和解码功能，一般也不支持较高压缩率、较高复杂度的视频压缩算法，例如HEVC、AVS-2，VP9等。常见的解决办法是使用显卡的GPU或者独立的视频加速卡辅助进行编码和解码，但是未压缩的4K/8K原始视频数据量远远大于1080P，4K@30帧达到5Gbps以上，而4K@60帧超过了10Gbps，所以原始视频图像在采集卡、CPU、GPU之间传输需要较高的带宽。这将成为很多硬件设计方案的一个技术瓶颈或方案难点。

(3)、x86/ARM视频会议终端的视频解码和显示模块的接口独立，在二者之间传输未压缩的视频图像需要较高的传输带宽。4K/8K视频的压缩码流将使用GPU或者专用的硬件加速卡解码成原始图像帧，然后通过内部存储器接口或者PCI-E接口传输到显卡的GPU完成渲染和显示。4K/8K视频图像的高数据量将占用内部存储器或者PCI-E接口的较大吞吐量，进而可能影响其他模块或者程序的执行效率。