[发明专利]一种可用于传输游戏的低延迟、高帧率音视频传输方法

说明书

本发明公开了一种可用于传输游戏的低延迟、高帧率音视频传输方法，涉及音视频传输技术领域，具体为一种可用于传输游戏的低延迟、高帧率音视频传输方法，包括以下步骤：S1、发送设备和接收设备接入可互联传输网络，并建立链接；S2、发送设备分别采集音频数据和视频数据；S3、分别对音频数据和视频数据进行编码；S4、将编码后的音频数据和视频数据通过自定义实时游戏音视频传输协议组帧后传输到网络；S5、接收设备通过网络接收到发送设备发送的音视频数据后，通过自定义实时游戏音视频传输协议将其解帧为独立的音、视频帧数据，并解码播放。通过该方法将本地音视频传到远端，实现音视频会议、大屏游戏、VR游戏等。

技术领域

本发明涉及音视频传输技术领域，具体为一种可用于传输游戏的低延迟、高帧率音视频传输方法。

背景技术

音视频传输在游戏、视频会议、实时直播等领域应用较多，但音视频传输的实时性一直是待解决问题，严重影响用户的使用体验，玩手机游戏时，手机屏幕太小，不便于观看，且音质较差，导致总体体验较差，因此希望将手机游戏的音视频无线传输到电脑或电视的显示器和音响，通过大屏高保真音响提高游戏体验；玩PC VR游戏时，通常需使用专用VR头显设备，如HTC的VIVE，常规PC VR头显的价格几千上万，为降低游戏门槛，减少游戏设备投入，提高游戏的便捷性，可以将电脑端PC VR游戏的音视频无线投屏到手机，将手机放入手机VR头盔，作为低成本的VR头显，电脑运行游戏，手机只用于显示视频和播放音频，这样就可以使用低性能手机玩高质量的PC VR游戏。

在游戏等实时性要求高的场合，体验者对视频的分辨率要求较高，期望达到1080P以上；传输延迟要求非常高，期望达到50ms以内；对视频帧率要求非常高，期望达到每秒60帧以上，由于游戏场景变化大，帧率高，音视频数据量非常大，将电脑游戏音视频从PC传输到其他设备，超过了传统的网络如千兆网的传输带宽，无法实现音视频高清传输；类似上述使用方式的音视频传输通常包括采集、编解码、传输协议、播放四部分，采集和播放的延迟取决于特定硬件平台性能及相应平台下不同操作系统开放的不同驱动函数性能，无法明显优化延迟；编解码的延迟取决于我们的实现方式，比如采用软件编码压缩方案能减少数据量，但资源消耗高，抢占其他进程，影响其他程序运行，在游戏等需要高速响应的场合，延迟大，帧率低，数据传输进程抢占游戏进程，会导致游戏运行不流畅，游戏体验差，硬件编解码方案可以大大的降低延迟，提高编解码帧率，且已经成熟使用；传输协议延迟取决于我们采用的不同传输协议，比如流媒体传输协议和桌面共享协议都不是针对类似游戏这种低延迟音视频传输而设计的协议，协议复杂度大，CPU资源消耗高，不利于减少延迟，如现阶段音视频传输很多采用流媒体传输协议，如苹果公司的RTMP、Apple公司的HLS、w3c推荐的WebRTC，流媒体传输协议主要针对广域网的视频点播、直播等实时性和视频帧率要求不太高的场合，实时性只能达到百毫秒量级，无法满足游戏所需要的低延迟需求；视频点播、直播等帧率一般在25帧量级，无法满足游戏需要的高帧率需求，近年来WI-FI联盟推出Miracast协议，以使多媒体设备之间建立和维持一个基于WI-FI的链接，并且利用这个链接推进视频和音频在目标设备的呈现播放；苹果公司推出了Airplay协议，它可以将ipad，iphone设备的桌面画面分享到Airplay接收端，Miracast协议和Airplay协议的推出极大的方便了屏幕分享 ,但都有所限制，Miracast设备在稳定性和兼容性方面有所欠缺，各个厂商的实现也多有差异，而且当前市面上的Miracast设备不支持多路音视频传输，当前Miracast发射端主要是Android 4 .2以上的手机或者ipad，以及windows8以上的PC，网卡必须支持Wi-FiP2P；Miracast画面的发送端把画面进行编码压缩得到基本码流ES(Element Stream)，然后把ES流封装成打包的基本码流PES(Packet Element Stream)，最后把PES打包成MPEG-TS的格式，通过实时传输协议RTP(Real-time Transport Protocol)把数据发送到画面接收端，画面的接收端接收到RTP包以后，去掉RTP头信息，得到MPEG-TS(Moving Picture ExpertsGroup-Transport Stream，动态图像传输流)数据，然后送入解码器进行解码输出，由于PES特点，其本身无法直接明确区分一个视频帧的结束，只有当接收到下一个PES的头信息以后才能明确知道上一个视频帧结束，这样的直接后果是必须要接收到下一个视频帧，才能区分出上一个视频帧，再送去解码，带来了至少一个帧的视频延时，且由于需要对接收到的数据逐字节判断，需要消耗较高的CPU资源才能判断出PES的头信息。针对游戏等高实时性应用场合，50ms延迟不会给游戏体验者带来延迟感或眩晕感，但由于传输协议带来的一帧额外延迟导致的额外50ms延迟使延迟达到100ms，将严重影响游戏的流畅性，给游戏体验者带来非常大的眩晕感。另外，传输软件高CPU资源消耗会增大传输延迟，并会抢占游戏进程，使游戏运行不流畅，会间接增大整体延迟。