[发明专利]视频传输方法及装置

说明书

本申请公开了一种视频传输方法及装置，其中方法包括：获取初始片源，并对初始片源进行模糊核和噪声估计，获得初始片源对应的第一模糊核和第一噪声块；向接收端发送初始片源，以及第一模糊核和第一噪声块。接收端采用第一模糊核和第一噪声块对基础超分模型进行训练，获得最终超分模型；根据最终超分模型对初始片源进行超分，获取目标片源，目标片源的分辨率高于初始片源。采用本申请实施例的方法一方面满足了高分辨率的需求，另一方面避免了算力需求提高带来的功耗。

技术领域

本申请涉及计算机技术领域，尤其涉及一种视频传输方法及装置。

背景技术

随着数字化和高清视频的不断发展，视频超高清技术正在推动新一轮视频技术创新。从硬件角度看，4K分辨率正在逐步成为视频硬件的标准配置。超高清视频相比标清视频能够为用户带来更为真实、震撼的观看体验。但超高清视频的普及还存在两大问题：

1)超高清视频内容匮乏。超高清视频制作周期长、成本高，很难在短时间内实现大量超高清视频的供给。视频制作者上传的视频画质较差、分辨率较低，以及老电影、纪录片等清晰度低、噪点多、颜色灰暗等问题，使得用户观看体验不佳。

2)超高清视频对网络带宽的需求大。超高清视频的分辨率远大于标清视频，使得所需的网络带宽往往在标清视频的数倍甚至十倍以上(4K分辨率的像素数量是2K分辨率的4倍)。这对于有限的网络带宽无疑是一个巨大的挑战。在网络条件不佳的情况下，容易造成卡顿影响用户体验。

视频增强技术，可以针对那些由于拍摄设备较差、画面抖动、视频压缩等导致画质损伤的片源，通过超分辨率、降噪、增强等技术，提升视频分辨率，去除视频中的噪点、伪影等，提高人眼视觉清晰度感知。其中的难点主要在于高分辨率视频在压缩过后，丢失了高频信息带来的细节，且视频种类繁多，视频的退化方式各不相同，这给视频的超分辨率重建带来了巨大的困难。

目前业界主要采用低分辨率的视频压缩传输，在端侧使用传统超分辨率方法进行插值放大；或者使用最新编解码技术实现高分辨率视频的直接传输。前者存在视频画质还原效果一般，高频信息可能无法复原的问题，后者存在对算力的需求更高的问题。如何实现更高质量且更低功耗的超分辨率重建是一个亟待解决的问题。

发明内容

本申请实施例提供了一种视频传输方法及装置，通过初始超分模型进行离线训练获得基础超分模型，通过要发送的初始片源中提取的模糊核和噪声块对基础超分模型进行在线训练获得最终超分模型，再通过最终超分模型对接收到的初始片源进行超分，获得目标片源，这个过程一方面满足了高分辨率的需求，另一方面避免了算力需求提高带来的功耗。

第一方面，提供了一种视频传输方法，该方法包括：获取初始片源，并对初始片源进行模糊核和噪声估计，获得初始片源对应的第一模糊核和第一噪声块；向接收端发送初始片源，以及第一模糊核和第一噪声块。

第二方面，提供一种视频传输方法，方法包括：接收初始片源，以及第一模糊核和第一噪声块，第一模糊核和第一噪声块为初始片源进行模糊核和噪声估计获得；获取基础超分模型，基础超分模型由多组训练数据对初始超分模型进行泛化训练获得，多组训练数据中的每组训练数据对应一对模糊核和噪声块，且每组训练数据包括至少一对训练数据，至少一对训练数据包括第一高分辨率图像和第一低分辨率图像；采用第一模糊核和第一噪声块对基础超分模型进行训练，获得最终超分模型；根据最终超分模型对初始片源进行超分，获取目标片源，目标片源的分辨率高于初始片源。