[发明专利]一种基于自适应学习的实时视频传输方法

说明书

本发明公开了一种基于自适应学习的实时视频传输方法，S1.发送端初始化配置参数，接收端部署强化学习模型；S2.发送端对当前的原始视频进行编码；S3.发送端对编码后的视频数据打包，然后发送给接收端；S4.接收端接收到数据包后，进行校验和丢失数据包的恢复；S5.接收端统计数据包传输过程中的相关参数，并提供给强化学习模型；S6.强化学习模型在得到输入数据后，决策出下一时刻的各类参数；S7.接收端将智能体的决策结果反馈给发送端，发送端修改配置的视频比特率及网络配置。本发明通过UDP‑Lite可以接收部分错误的特性，减少重传并降低视频的延迟，并使用前向纠错技术，降低了错误导致的重传，并降低视频的时延。

技术领域

本发明涉及实时视频传输，特别是涉及一种基于自适应学习的实时视频传输方法。

背景技术

随着互联网数据类型的不断丰富与发展，多媒体数据已经成为互联网数据流量中重要的组成部分之一。作为多媒体应用的重要类型之一，实时流媒体（RealtimeMultimedia Streaming）服务以其实时性、便捷性和交互性等特点在近年来取得了飞速的发展和广泛的应用，主要形式包括实时视频直播和多人视频会议等。

实时流媒体应用在教育、办公、消费等领域发挥了重大作用，对部分单位企业的工作方式和人们的生活方式产生了深远的影响。例如，基于多人视频会议进行线上授课和远程办公、众多线下实体企业选择利用视频直播的方式进行在线推广和直播带货等，这种新的模式也为消费者提供了更为便利的购物和消费体验。而基于实时流媒体传输的视频通信、视频会议以及视频分析等正是推动这些方面建设和发展的关键所在。因此，如何对实时流媒体的传输进行优化从而保障实时流媒体服务的质量具有重大的研究意义和产业需求。

由于实时流媒体应用大多是面向用户的，因此用户的体验质量（Quality ofExperience,简称QoE）往往是衡量实时流媒体应用的重要评价标准之一。实时流媒体传输中影响QoE的因素主要包括三个方面，即吞吐量（throughput），延迟（delay）和网络丢包（network loss）。其中，吞吐量决定了视频可以以多高的码率进行传输。如果网络的吞吐量充足，则可以支持720P，1080P，甚至是4K全高清视频的传输，从而提升用户的观感体验。延迟包括网络传输以及中间节点的计算例如视频转码和缓存等造成的传输时延。

考虑到相对于传统的流媒体传输，例如视频点播服务，实时流媒体传输有着更强的实时性要求、更高的网络带宽需求以及更多元 化的用户体验构成，因此更加难以保障用户的 QoE。具体而言，现阶段面向高 QoE 的实时流媒体传输存在以下方面的挑战：

基于TCP 的流媒体传输系统并不适用于实时流媒体。传统的针对视频点播服务（Video on Demand, 简称VoD）的流媒体传输主要是使用HTTP协议传输视频流，其下层采用TCP 作为传输层协议。TCP 作为可靠的传输协议可以通过超时重传等机制来保证数据包都被正确有序地接收。然而考虑到 TCP 所带来的的高延迟无法满足实时性的要求，实时流媒体传输系统通常选择更快但是非可靠的 UDP 作为传输层协议。

单纯使用UDP 协议的视频传输系统，会引入网络丢包问题。UDP非可靠的特性使其避免了长时间超时等待重传因而视频传输的延迟更低。然而这种策略的代价是UDP 并不会自动地 处理网络的丢包问题，因此会造成较高的丢包率，导致视频画面扭曲或缺失，严重影响用户的观看体验。

传统的码率控制算法无法解决网络丢包带来的QoE 下降，流媒体传输系统中广泛应用了码率自适应算法来动态调节视频的码率。近年来学术界提出了多种码率自适应算法（Adaptive Bitrate Algorithm，简称 ABR算法），其主要决策依据是当前缓存（buffer）大小和对未来吞吐量的预测，有些已经被 广泛应用于基于 HTTP 的视频传输中，例如 DASH（Dynamic Adaptive Streaming over HTTP）。然而此类算法都是考虑基于 TCP 的可靠传输的情形，并没有考虑在非可靠的UDP 传输下的丢包问题，因此不能很好的适用于实时流媒体传输的 QoE 优化。